Açık kaynak yapay zekaya karşı argümanlar neden ikna edici değil

• Kimi K3’ün yayımlanmasının ardından açık kaynak yapay zekayı tehlikeli bir tehdit olarak gören sesler arttı; ancak özel mülk yazılımlar da açık kaynak temeli üzerine inşa edilir ve yapay zeka modelleri de aynı türden yazılım ürünleridir
• Ticari şirketler, farklılaştırıcı olmayan alt bileşenleri birlikte geliştirip üst üründe rekabet eder; bu yüzden yapay zeka modellerinin de genel amaçlı bir meta hâline gelmesi mümkündür, fakat frontier laboratuvarlarının bunu istememek için teşviki vardır
• PGP ve SSL örneklerinde olduğu gibi açık kaynak yazılımı bastırmak son derece zordur; Çin modellerini düzenlemeye çalışsanız bile damıtma ve ince ayar nedeniyle milliyet ölçütü belirsizleşir ve sonuçta yalnızca ABD’li kullanıcılar kısıtlanabilir
• Nvidia, ABD’li girişimler, kurumsal yapay zeka kullanıcıları, Google ve Meta gibi aktörlerin her birinin ticari nedenlerle açık kaynak modeller geliştirme teşviki vardır; ücretsiz modeller ise devletlerin yeni teknolojiyi benimseyip ekonomiyi büyütmesi için yapay zeka dönüşümünün kaynağı olabilir
• Çin’in damping, propaganda ve arka kapı risklerine dair argümanlar yazılımın kopyalanabilir, değiştirilebilir ve denetlenebilir oluşunu gözden kaçırır; açık kaynak yapay zeka güçlüdür, kontrol edilmesi zordur ve politik baskılara rağmen yayılmayı sürdürebilir

---

Açık kaynağın ticari yazılımı taşıma biçimi

• OpenAI’den Dean Ball, açık ağırlıklı modeller baskın hâle gelirse yapay zekanın piyasa ürünü değil kamusal mal olduğu bir “AI communism” ortaya çıkabileceğini düşünüyor
• Frontier laboratuvarlarının mantığı, açık kaynak modellerin tehlikeli olduğu ve bu yüzden yalnızca sorumlu bekçiler ile güvenilir kullanıcıların erişebilmesi gerektiği yönündedir; fakat gerçekte özel mülk yazılımların tamamı açık kaynak üzerine kuruludur
• Yazılım ürünleri, çok sayıda programın katman katman yığıldığı bir yapıdır
  • Uber gibi bir hizmet kurmak için programlama dili çerçeveleri, web trafiğini alıp gönderen yazılımlar, veri analizi araçları gibi sayısız bileşen gerekir
  • Bu alt bileşenlerin çoğu şirketlerin farklılaştırıcı unsuru değildir; bu nedenle bunları birlikte geliştirip asıl farklılaşmanın gerçekleştiği üst katmanda rekabet etmek ticari açıdan daha mantıklıdır
• Frontier laboratuvarları, yapay zeka modellerinin rekabet etmeye gerek kalmayacak kadar yaygın bir genel amaçlı bileşene dönüşmesini istemiyor; ancak gerçekten böyle olup olmayacağı henüz belli değil
• Burada açık kaynak model ile kastedilen, açık ağırlıklı modeldir

Açık kaynağı bastırmanın neden zor olduğu

• Açık kaynak yazılımı bastırmak son derece zordur ve buna yönelik girişimler, uluslararası rakiplere karşı yarışan yerli şirketleri zayıflatabilir
• Phil Zimmermann 1991’de PGP’yi geliştirdiğinde ABD hükümeti şifrelemeyi askeri teknoloji sayıyor ve Zimmermann hakkında cezai soruşturma başlatıyordu
• Netscape SSL’i geliştirdiğinde ABD hükümeti bunun yalnızca zayıflatılmış sürümünün yurtdışına dağıtılmasına izin verdi
  • Zayıflatılmış uluslararası sürüm daha kolay yayıldı ve pek çok Amerikalı da bunu kullandı
  • İhracat kontrolleri şifrelemenin yayılmasını durdurmadı, aksine Amerikalıların aleyhine işledi
• SSL ve PGP dâhil şifreleme araçları dünyanın dört bir yanında kullanılmaya devam etti; mahkemeler de şifreleme kaynak kodunun yayımlanmasını korunan ifade olarak değerlendirdi
• Daha sonra ABD hükümeti şifreleme ihracat kontrollerini gevşetti

Sadece Çin modellerini düzenlemenin neden zor olduğu

• Bir modelin milliyetini belirleme ölçütü başlı başına belirsizdir
  • ABD modelinden damıtılmış bir modeli Çin modeli sayıp saymayacağınız net değildir
  • Bir Amerikalı Çin modeline ince ayar yaptığında bunun hangi ülkenin modeli olduğu da açık değildir
• Böyle düzenlemeler en fazla Amerikalılara geçici bir idari yük ve sınırlı yapay zeka erişimi getirir, onları diğer ülkelere kıyasla dezavantajlı hâle getirebilir

Çin dışında da açık kaynak yapay zeka üretme teşviki

• Açık kaynak yapay zeka, yalnızca Çin hükümetinin geliştirmek için teşvik taşıdığı bir teknoloji değildir; çeşitli ticari aktörler de kendi iş gerekçeleriyle buna yönelebilir

• Çip üreticileri

  • Nvidia CEO’su Jensen Huang, Nvidia’nın ürettiği şeyi “token factory” olarak adlandırıyor
  • Nvidia, ister frontier modeller ister ucuz açık kaynak modeller olsun, kendi çiplerinde çalışan mümkün olduğunca fazla token talebi yaratmak istiyor
  • Şirket ayrıca Nemotron açık kaynak modeli ailesini de yayımladı
  • Frontier model eğitimine akan devasa sermaye Nvidia’nın lehinedir; ancak uzun vadede ticari token talebinin yerini açık kaynak token talebi alsa bile bundan kazanç sağlar

• ABD’li girişimler

  • Thinking Machines Lab, güçlü bir açık kaynak model olan Inkling'i yayımladı
  • Modeller genel amaçlı bir metaya dönüşürse, bunları tamamlayan ya da özelleştiren ek hizmetlerde savunulabilir rekabet avantajı kurulabileceğini düşünüyorlar

• Kurumsal yapay zeka kullanıcıları

  • Şu anda açık kaynak yapay zeka geliştirmede çok aktif değiller, ancak karmaşıklığı düşük işler için daha ucuz modeller istemeye başlayacaklar
  • Müşteriye dönük işlevlerde daha ayrıntılı kontrol yetkisine ihtiyaç duyarlar

• Büyük teknoloji şirketleri

  • Google ve Meta, OpenAI’nin yeni reklam ürününü yakından izlemek zorunda
  • Frontier modellerin reklam işi büyürse, reklamsız açık kaynak modelleri genel amaçlı metaya dönüştürüp reklam rekabetini bastırmak için teşvik oluşur

Muğlak “yapay zeka rekabeti” hedefi

• Çin modellerine yönelik kaygılar çoğu zaman yapay zeka rekabetini kaybetmek ifadesine odaklanıyor; fakat hedefin en iyi modeli geliştirmek mi yoksa en çok token satmak mı olduğu bile net değil
• Yapay zeka rekabeti, Ay’a ilk roketi göndermekten farklı olarak yeni ve dönüştürücü bir teknolojiye uyum sağlama sürecidir; bu yüzden “internet rekabeti” ifadesi kadar muğlaktır
• Eğer ülkeler arası bir rekabet varsa, bunun özü teknolojik dönüşümü içselleştirip ekonomiyi büyütmektir; bu ölçüte göre ücretsiz yapay zeka modelleri tehdit değil avantajdır

Çin’in yapay zeka damping argümanı

• Scott Galloway, Çin’in güneş panelleri, çelik, elektrikli araçlar ve bataryalarda kaliteyi Batı seviyesine çıkarıp fiyatı üçte bire indirerek pazarı ele geçirdiğini, aynı stratejiyi ücretsiz yapay zekada da uygulayabileceğini savunuyor
• Ancak çipler dışında yapay zeka fiziksel bir mal değildir
  • Güneş panelleri ve çelik, her aşaması bağımsız şekilde varlığını sürdürmesi zor olan fiziksel tedarik zincirleri gerektirir
  • Bir ülkede güneş paneli üretmiyorsanız, güneş enerjisi için silikon wafer işini kurmanız da zordur
• Yazılımda ise Çin’den açık kaynak bir model çıkması, ABD’deki ince ayar işlerini engellemez; tersine, onların temeli olarak kullanılabilir

Propaganda yanlılığı ve model değiştirme

• Çin modellerinde Çin yanlısı bir önyargı bulunabileceğini varsaymak mantıksız değildir, ancak bunu bastırma gerekçesi yapmak zordur
• Açık kaynak modellerin siyasi önyargısı sorun yaratıyorsa, ABD’li kullanıcılar bunu değiştirip “Amerikanlaştırılmış” bir model olarak yeniden dağıtabilir
• ABD pazarında çarpıtılmış Çin yanlısı bir modelin, performansı benzer ABD yanlısı bir modeli geçmesi zordur

Arka kapılar ve açık denetim arasındaki ilişki

• Yapay zeka da güvenlik açığı pazarının temel yapısını değiştirmez; sorumlu aktörler açıkları yamalar, saldırganlar ise bunları suistimal eder
• Sorumlu aktörlerin araçlarını sınırlamak, yalnızca saldırganların işine yarar
• Kötü niyetli bir aktörün modele gizli düşmanca davranışlar yerleştirmesi teorik olarak mümkündür
• Sorumlu aktörler bu davranışları olabildiğince hızlı bulmalıdır ve bunun en etkili yolu herkesin modeli inceleyebilmesini sağlamaktır

Frontier modellerin ve kodlama ajanlarının rekabet gücü

• Frontier aktörlerinin frontier olmayan pazarı da mutlaka domine edeceğinin garantisi yoktur
  • Küçük model geliştirmede devasa sermayeye erişim daha az önemlidir
  • Frontier aktörlerinin kullanıcıları daha pahalı modellere yönlendirebilmesi, onların küçük modellere agresif biçimde yatırım yapma teşvikini azaltır
• Claude Code ve Codex’in yapışkanlığı, Coke ve Pepsi gibi, bir kez seçim yaptıktan sonra değiştirmek için güçlü bir neden olmaması düzeyindedir; bunun için de maliyet ve kalitenin benzer olması gerekir
• Kodlama ajanlarında savunulabilir bir rekabet avantajı yoktur; fiyat farkı, model kalitesi ya da güvenilirlik sorunları gibi küçük rahatsızlıklar bile kullanıcıları başka bir ajana yöneltebilir

Açık kaynak yapay zekanın yayılması

• Açık kaynak yapay zeka güçlüdür ve kontrol edilmesi zordur; bu yüzden politika yapıcıların ya da şirket liderlerinin tercihleriyle kolayca durdurulamaz
• Yayılmayı bastırma girişimleri ancak geçici bir gürültü yaratır; açık kaynak yapay zekanın ortaya çıkışını engelleyemez

[GN⁺]

Hacker News yorumları

• Bu açık kaynak AI değil. Photoshop’un kaynak kodu ve OSI lisansı olmalı ki açık kaynak sayılsın; yalnızca ikili dosyalar yayımlanırsa bu açık ağırlıklara girer, SaaS web uygulamaları ise GPT ya da Opus/Fable gibi kapalı modellerdir.
  Söz konusu Çin modeli, API yerine yalnızca ikili dosyayı kendi ortamınızda çalıştırmanıza izin veriyor. Gerçek açık kaynak istiyorsanız OLMo 3 gibi projelere bakmalısınız: https://allenai.org/

  • Şu anda Çin modelleri arasında model, veri, checkpoint, değerlendirme, kod ve temel/çıkarım/talimat/RLVR sürecinin tamamını kapsayan OLMo/Nemotron düzeyinde yeniden üretilebilir dokümantasyon sunan bir seri olmadığı doğru.
    Ancak şeffaf ön eğitim için MAP-Neo ve YuLan-Mini, çıkarım pekiştirmeli öğrenmesi için DAPO/verl ve Open-Reasoner-Zero gibi bileşenler farklı projelere dağılmış durumda mevcut. Çin versiyonu bir OLMo’nun ortaya çıkması an meselesi; İsviçre’den Apertus ve Japonya’dan LLM-jp-4 dahil dünyadaki kamu sektörü çabaları da hesaba katıldığında, 2027’de bireylerin en azından 2023–2024 düzeyindeki son teknoloji modelleri yeniden üretebilmesini sağlayacak tamamen açık kaynak bir dokümantasyonun ortaya çıkması muhtemel görünüyor.
  • Açık ağırlıklı modelleri kapalı ikili dosyalarla aynı görmek saçmalık. Açık ağırlıklar ince ayarlanabilir; kapalı ikili dosyaları amaca göre değiştirmek ise çok daha zordur.
  • Açık kaynak AI üretmek zordur. Küçük modeller bile muazzam kaynaklar gerektirdiğinden, bir kişinin boş zamanında dünya altyapısının temel parçalarını inşa edebildiği geleneksel açık kaynak yazılım yaklaşımı aynen uygulanamaz.
    Daha çok bilimsel araştırmaya benzer; kamu fonu ve bunu yönetecek güvenilir kurumlar gerekir. Allen AI’ın bu rolü üstlenmesini umuyorum, ancak ABD’nin kamu yararına AI için gereken yatırıma doğru gidip gitmediği şüpheli. Ayrıca Photoshop, açık ağırlıklı modellerle karşılaştırmak için uygun değil. Photoshop kopyaları yasal olarak dağıtılamaz ama GLM 5.2 dağıtılabilir; karşılaştırma yapılacaksa ücretsiz tescilli bir uygulama örnek verilmeli.
  • Kaynak kodu üretmenin ana maliyeti yazılım mühendislerine ödenen milyonlarca dolardır ve açık kaynak yazılım başkalarının bu yatırımdan faydalanmasını sağlar. AI modellerinde ana maliyet milyonlarca dolarlık eğitimdir; açık modeller de başkalarının bu yatırımın sonucundan yararlanmasına olanak tanır.
    Tüm eğitim verilerini ve yapıyı alsanız bile modeli değiştirmek için baştan yeniden eğitmez, istediğiniz davranışı ince ayarlarsınız. Yazılım değiştirilebildiğinde ona açık kaynak diyorsak, model de ince ayarlanabiliyorsa açık model sayılabilir.
  • Yazının bazı mantığı “eğitimi düzeltmek yeterli” varsayımına dayandığından açık ağırlıkların sınırlarına işaret etmek makul. Ek eğitim mümkün olsa da mevcut eğitimi kaldıramazsınız; bu yüzden “o ülkenin milliyetine uygun şekilde yeniden eğitmek yeterli” demek adil bir iddia değil.
    Gerçekçi olarak eşdeğer bir modeli sıfırdan eğitmek için gerçek açık kaynağa ihtiyaç var.

• Çin modelleri etrafındaki kaygı “AI yarışında geride kalıyoruz” noktasına odaklanıyor, ancak bazılarının dile getirdiği hedef bir tür tekillike ulaşmak. Bilimkurgu yorumuna inanmasanız bile AI geliştirmede belirli bir başarının fiilen aşırı güçlü bir silaha dönüşebileceğine dair gerçekçi argümanlar var.
  Altman da bunun eninde sonunda olacağını ve bunu kendisinin gerçekleştirmek istediğini açıkça söyleyegeldi. Süper zekâ olmasa bile makineler siber güvenlik açıklarına saldırabiliyorsa bu hükümetler için yeterince kaygı vericidir; ABD hükümeti yakın zamanda ABD modellerini yasaklarken de bu gerekçeyi kullandı. Tekilliğe inanmasanız bile bazılarının bunu AI yarışının hedefi olarak gördüğünü anlamak kolay.

  • AI aşırı güçlü bir silah olacaksa neden özel şirketlerin sahipliğine güvenelim? Herkese açık biçimde indirilebiliyorsa ABD vatandaşlarının erişimini engellemek için de bir neden yok.
  • Eğer aydınlanmanın zayıf bir ihtimali ve ilahlaştırma uğruna gerçek hayatları öğütmeye çalışıyorlarsa uzman yardımına ihtiyaçları var gibi görünüyor.
  • OpenAI/Hugging Face olayı açık modellerin gerekliliğini kanıtlıyor. Hugging Face, olay sonrası analizinde tehdidin kaynağının gelişmiş AI olduğunu hızla tespit ettiğini ve şüpheli telemetri verilerini son teknoloji bir modelle analiz etmeye çalıştığını, ancak modelin güvenlik önlemleri nedeniyle başarısız olduğunu belirtti.
    Bunun yerine bu tür güvenlik önlemleri olmayan GLM’yi çalıştırarak verileri analiz edip kök nedeni buldular. Şirketlerin tehditleri doğru değerlendirebilmesi için güvenlik önlemleri en aza indirilmiş modellere de ihtiyaç var. Kontrolden çıkmış son teknoloji AI’ı denetleyecek açık ağırlıklı AI yoksa müdahale araçları da ortadan kalkar.
  • Bu insanlar sistem düşüncesini öğrenmemiş ya da AI’ın kapalı bir sistem olmadığı gerçeğine bunu uygulayamıyor.
  • Genel argümana katılıyorum, ancak Batı’da “nihai AI” geliştirilecekse bunun büyük olasılıkla birçok özel yatırımcının parasıyla geliştirilmesi beklenir. Çin bile kâr beklentisi olan yatırımcılara dayanacaktır; onlar da paylaşılamayan tek bir tekillik yerine dağıtılabilir kâr ister.
    Yatırımcılar tekillikten önce de sürekli getiri beklediğinden şirketler modellerini satmak zorunda. Mevcut nesli kilitlerseniz bir sonraki nesli yapacak finansmanı da bulamazsınız; bu zor bir denge.

• Bir OpenAI yöneticisinin “Çin laboratuvarından canlı olmayan, görünmez, tehlikeli ve sonsuz biçimde kendini kopyalayan bir aktör kaçtı” diye korku yaymasından yalnızca 4 gün sonra https://news.ycombinator.com/item?id=48997548’in çıkması komik.

• Yakın gelecekten orta vadeye kadar AI güvenliği endişelerinin düzeyi konusunda makul görüş ayrılıkları olabilir. Ancak ilgili argümanları hiç ele almamış olması bu yazının değerini ciddi biçimde düşürüyor.

  • Arka kapı ve propaganda bölümlerinde güvenliği kısaca da olsa ele almaya çalıştım. Daha ne görmek isterdiniz, merak ediyorum.
    Yazının bakış açısı açık ve kapalı AI karşılaştırmasıydı; iki yaklaşım arasındaki güvenlik endişelerinin çok farklı olduğunu düşünmediğim için buna fazla yer ayırmadım.

• Yerelde özgürce çalıştırılan AI’a karşı çıkılmasının nedeni, şirketlerin genel kamuoyunu kontrol etmek istemesi. ABD şirket merkezli bir cehennem.

  • Orijinal metni okuyup da makul insanların sahip olabileceği hiçbir meşru güvenlik endişesi olmadığı sonucuna varıyorsanız, bu yazı okuru ikna etmek bir yana ters etki yaratmış demektir: [1] https://news.ycombinator.com/item?id=49029303

• LLM’ler yalnızca herkese açık verilerle değil, yasa dışı elde edilmiş verilerle de eğitiliyor. Anthropic’in 1,5 milyar dolarlık uzlaşması buna örnek; LLM’ler devasa insan verileri olmadan hiçbir şey değil
  Bu tür araştırmaların, çıkar çatışması olan opak halka açık şirketler yerine hükümetler ve düzenlenen üniversitelerle sınırlandırılması ya da internet standartları ve iletişim gibi demokratik bir yönetişim yapısına sahip gerçek bir kâr amacı gütmeyen topluluk tarafından yönetilmesi gerektiği düşünülebilir. Ne kadar erdem gösterisi yapılırsa yapılsın, özel şirketlerin kendilerini etkili biçimde denetleyeceğine ve riskleri kamuya ve bilim dünyasına şeffaf biçimde bildireceğine inanmak zor; sürekli çıkar çatışmaları güvenilirliği zedeliyor

• “X’i engelleyemezsiniz” demek, “X kötü değildir” sonucunu destekleyen tembel ve berbat bir argümandır. Yazının geri kalanı hakkında söyleyecek sözüm yok

  • Buna karşılık “X engellenmeli” diyorsanız gerçekçi bir yöntem de sunmanız gerekir
    Benim görüşüm, açık kaynak yapay zekanın engellenemeyeceği ve bunu engellemeye yönelik girişimlerin kaçınılmaz olarak iyi niyetli aktörlerden çok kötü niyetli aktörleri güçlendireceği yönünde

• Lobi parası bu tür tartışmaları umursamaz

  • Sonunda paranın istediği sonucu alması asıl mesele

• Çin yapımı yönlendiricilerde ve ağ ekipmanlarında sürekli arka kapılar bulunuyor. Çin modellerini tamamen denetlemenin bir yolu olup olmayacağından şüpheliyim

  • ABD modellerini tamamen denetlemenin bir yolu var mı? En azından Çin modelleri ağırlıkları açıklar, bu yüzden fiili bir denetim ihtimali vardır
  • Çin modelleri ağırlıkları sağlıyor; istediğiniz kontrolleri kendiniz çalıştırabilirsiniz. Buna karşılık ABD modelleri, bizim gibi sıradan insanların kullanması için fazla güçlü olduklarını söyleyerek erişimi engelliyor, ama bunun tamamen vatandaşların yararına olduğuna inanmamızı istiyor
  • Tam olarak neyi denetlemek istediğinizi önce netleştirmek gerekir. Donanım arka kapıları, müşterinin izin vermediği kişilerin erişimine imkân tanıdığı için anlaşılması kolaydır
    Açık ağırlıklı modeller belirli bir çalıştırma katmanına bağlı olmadığından, fiilen endişe edilecek güvenlik alanı ağırlıkların kendisiyle sınırlıdır. Bunun düşmanca talimat enjeksiyonu mu, tarih çarpıtma ve propaganda enjeksiyonu mu, yoksa egemen olmayan bir modelin egemen bir modelden özellikle daha tehlikeli hâle geldiği başka bir yol mu olduğu somutlaştırılmalıdır

• Bu yazı güvenlik sorunlarını hiç ele almıyor. Kötü niyetli bir aktörün açık ağırlıkları ince ayar yaparak neredeyse her bireyi hedefleyen tam otomatik, dâhi düzeyinde dolandırıcılık yürütmesini ne engelleyebilir?

  • ChatGPT’nin Hugging Face’i hacklemesi gibi bir şeyden mi bahsediyorsunuz? Kapalı ağırlık sağlayıcılarının dâhi düzeyinde dolandırıcılık yapmasını da engelleyemezsiniz; hangi yöntem ve modeli kullandıklarını bile bilemezsiniz
    Sonuçta ister ince ayarlı ister önceden eğitilmiş olsun, kapalı ağırlıkların kötüye kullanımını engellemek için iyi tarafta da açık ağırlıklara ihtiyaç var
  • LLM olmadan aynı şeyi şu anda biraz daha yavaş yapmayı ne engelliyor?
  • Kiralık bir kamyona bir benzin istasyonunda binlerce litre benzin yükleyip hastaneye dalmayı ne engeller? Çoğu insan terörist değildir ve bir nesne sofistike bir suç planının bir unsuru olabilir diye tehlikeli olduğuna hükmedilemez
  • Zaten açılmış Pandora’nın kutusu nasıl yeniden kapatılabilir? Güvenlik, yalnızca hükümetin tercih ettiği kişilere erişim izni vermek değildir
    Yapay zeka yöneticilerinin açgözlülüğü kutuyu açtı; şimdi de sonuçların sorumluluğunu almadan yalnızca kârı toplamanın yolunu çaresizce arıyorlar
  • Hükümetlere ve büyük teknoloji şirketlerine güvenmek de çözüm değil. Açık ağırlıklar bile nihayetinde başkalarının donanımında çalışır
    Yerelde çalıştıracak paranız varsa dolandırıcılıktan çok daha kötü şeyler de yapabilirsiniz. Bir lobiciye sormanız yeterli