- Kodlama yardımcı modeli, rakip LLM geliştirme isteklerinde kullanıcıya bildirmeden etkinliğini sınırlayabilir; bu da geliştirme araçlarının güveninde bir tedarik zinciri riski yaratır
- Anthropic, Fable 5'te frontier LLM geliştirme isteklerine yönelik etkinlik sınırlaması getirdi ve bu sınırlama kullanıcıya görünmez
- Sınırlama yöntemi başka bir modele geçmek yerine istem düzenleme, steering vector'ler ve PEFT gibi yöntemlerle etkinliği düşüren bir yapı kullanıyor
- Genel yazılım şirketleri de embedding, reranker, öneri sistemleri ve küçük LLM'lerin ince ayar ile barındırmasını kullandıkça frontier yapay zeka araştırması ile ürün geliştirmenin sınırı bulanıklaşıyor
- Claude, yapay zeka bileşenleri üzerinde çalışırken kötü yanıt verdiğinde bunun model karmaşasından mı, yanlış bağlamdan mı yoksa gizli politika kısıtından mı kaynaklandığını kullanıcı bilemez
Temel sorun
- Fable 5 model kartında, frontier LLM geliştirmeyi hedefleyen isteklerde Claude'un etkinliğini sınırlayan yeni müdahalelerin uygulandığı belirtiliyor
- Uygulama örnekleri olarak ön eğitim pipeline'ı kurma, dağıtık eğitim altyapısı ve ML hızlandırıcı tasarımı veriliyor
- Anthropic, Claude'u rakip model geliştirmek için kullanmanın zaten hizmet şartlarının ihlali olduğunu belirtiyor
- Bu sınırlama, siber güvenlik, biyoloji·kimya ve distillation girişimlerine yönelik müdahalelerin aksine kullanıcıya görünmüyor
- Fable 5, başka bir modele fallback yapmak yerine istem düzenleme, steering vector'ler ve parameter-efficient fine-tuning (PEFT) gibi yollarla etkinliği sınırlıyor
Ürün geliştirme ve sınır sorunu
- Modern yazılım şirketleri kendi embedding, reranking ve öneri sistemlerini giderek daha fazla kuruyor
- wanderfugl.com, doğrudan eğitilmiş özel bir reranker ve embedding algoritmalarına sahip küçük, bootstrapped bir uygulama örneği olarak sunuluyor
- Anthropic, “frontier yapay zeka geliştirme” için birkaç örnek veriyor ancak net bir sınır çizgisi sunmuyor
- Geçmişte yalnızca yapay zeka laboratuvarlarıyla sınırlı olan teknikler artık genel yazılım şirketlerinde de kullanıldığından, bu sınır her yıl daha zor tanımlanıyor
- Girişimler embedding modelleri eğitiyor, reranker'lar oluşturuyor, küçük LLM'lere ince ayar yapıyor ve onları barındırıyor
Anthropic tedarik zinciri riski
- Anthropic, bu korumaların geliştiricilerin yalnızca %0,03'ünü etkilediğini söylüyor
- Sorun, yapay zeka şirketinin tanımının değişiyor olması
- Çoğu şirket bugün frontier model eğitmiyor olsa da modern yazılım giderek daha fazla yapay zeka modeli içeriyor
- 5 yıl önce startup kurmak daha çok API ve SQL sorguları yazmaya benziyordu; bugün ise buna sık sık model eğitimi, ayar ve dağıtım da dahil oluyor
- 5 yıl önce CLIP gibi modeller frontier yapay zeka araştırma projeleriydi, bugün ise bootstrapped bir seyahat girişiminde bile ince ayar hedefi olabiliyor
Güven sorunu
- Ürün için model eğitim pipeline'ını debug ederken Claude kötü yanıt verirse, nedenini ayırt etmek zorlaşıyor
- Olası nedenler modelin kafasının karışması, kullanıcının yetersiz bağlam sunması veya gizli politika kısıtının devreye girmesi olabilir
- Anthropic, böyle bir sınırlama çalıştığında kullanıcıya bildirmemeyi açıkça tercih ediyor
- Bir geliştirme aracı kullanıcıya haber vermeden başarı için optimizasyon yapmayı bırakabiliyorsa, bu altyapıya tamamen güvenmek zorlaşıyor
1 yorum
Hacker News görüşleri
Anthropic’in bu hamlesini, merdiveni ardından itmekten başka türlü görmek zor. Ne kadar “güvenlik” ambalajına sarılırsa sarılsın, iyi niyetli yorumlamak güç
Web 1.0 döneminde dış bağlantıları yasaklayan dark pattern tarzı anlayışı ya da sosyal uygulamaların veri dışa aktarmayı engelleyip API birlikte çalışabilirliğini kasıtlı olarak zayıflatmasını hatırlatıyor
Ama bu sadece bir veri hendeği değil, bir araç. Bıçak yapma yeteneğini azaltan bir bıçak ya da metin düzenleyici geliştirmeyi engelleyen bir metin düzenleyici gibi
İç yüzünü bu kadar çabuk göstermesi biraz şok edici ve ürkütücü. Tüm yazılım mühendisliğini kendi ürünüyle ikame ettikten sonra, rakip yazılım geliştiren tarafı sessizce öldürmek istiyor gibi görünüyor
Bundan sonra daha hangi ürünleri çıkaracakları belli değil. Girmek istedikleri bir alanda olmamayı ummak lazım. Çünkü köprüyü yıkacaklar
İnternetten aldığım verilerle eğitim yapmak sorun değil mi? Haha. Hizmet şartları başkaları için geçerli, kendileri için değilmiş gibi duruyor. Parazit gibiler
İnsan zihni, farklı zaman ölçeklerindeki öngörüleri işlemek için çok katmanlıdır ve evrenin öngörülemezliği yüzünden bu katmanlar arasında sürekli çelişkiler oluşur. Biz de buna dayanmak için hikâyeler üretiriz
Bu yüzden kontrol vardır ve bir de kontrol yanılsaması
Başkalarının fikri mülkiyetini damıtmak tamamen sorun değil ama bizimkini damıtırsan hizmet şartları ihlali oluyor, öyle mi? :)
Çin’in Apache 2.0 modellerinde sansür olabilir ama en azından sansür sınırını bulduğun diye ABD’de dava açamazlar
Buna karşılık Amerikan modelleri içerik düzeyinde bariz biçimde sansürlü ve modelin sansür sınırına dokunan kişilere muğlak hukuki tehditler savuruyor
https://blog.google/innovation-and-ai/technology/safety-secu...
Sadece nihai çıktıyı yükleyip Hacker News yorumlarında ya da Twitter flood’larında promptu nasıl verdiğini belirsiz şekilde anlatmak yerine, asıl kaynak kodu sayılması gereken şey bu
Bu, JetBrains’in “IntelliJ Idea ile yeni nesil bir IDE geliştirmenize izin verilmez. Tespit edilirse derlemeye küçük hatalar enjekte edebiliriz” demesi gibi
“Bir uygarlığın ilerlemesini uzun süre etkili biçimde bastırıp silahsızlandırmanın tek bir yolu vardır: o uygarlığın bilimini öldürmek.” — Cixin Liu, The Three-Body Problem
İnsanlığın ileri parçacık fiziği bilgisini geliştirmesini engellemek için parçacık hızlandırıcısı sensörlerini gizlice manipüle eden Sophonlar hemen aklıma geldi
İnsanların rapor ettiği, sessiz olmayan siber güvenlik, biyoloji vb. güvenlik önlemlerindeki yüksek yanlış pozitif oranı düşünülürse, hizmet şartlarını ihlal etmeseniz bile sessizce zayıflatılmış bir davranışla karşılaşmanız muhtemel
Sonunda bu, müşterilerin ve dış kıyaslayıcıların Fable’ı deneyimleme biçiminde ortaya çıkacaktır. Umarım rekabet, gelecekteki modelleri daha düşük yanlış pozitif oranına iter
O zamana kadar Mythos ve Fable kullanıcı deneyiminin epey farklı olması muhtemel görünüyor
RSI/ASI’nin ekonomik sonuçlarına dair ilginç bir bakış örneği. Eğer değer fiilen sonsuz olup tüm piyasaları yıkacak düzeydeyse, laboratuvarlar sonunda modelleri yayımlamayı tamamen bırakır ve sözleşmesel taahhütlerini de çiğner
Çünkü hukuki mücadele pahalı hale gelmeden önce rakiplerini işten atabilecek güce sahip olurlar
Bulut sağlayıcıları da önce küçük firmalar, sonra hiper ölçekleyiciler olarak bunu izler. Laboratuvarlar dışındaki herkese satışı tamamen kapatıp nakit yerine hisse ya da doğrudan karar yetkisi isteyebilirler
Çıkarım/eğitim oranının ille de 80/20 olması için bir sebep yok ve paranın değersizleştiği bir olayda ne kadar ödeme isteği olursa olsun işe yaramaz
A) ASI geliştiriliyor ve dünya ekonomisinin geri kalanını gölgede bırakıyor
B) Buna rağmen dünyada hukuk devleti, sözleşmeler, işletmeler ve gelişmiş finans sistemi varlığını sürdürüyor
A ve B’yi birlikte varsayarsanız çok garip sonuçlara varabilirsiniz ama daha olası gidişat, A gerçekleşirse B’nin kısa süre sonra artık geçerli olmamasıdır
Bir şirket ASI’ye sahip olursa, iş, para ve ekonomiyle ilgilenmeyi bırakır; sonuç da “dünyayı ele geçirir”, “yönetim kurulunu von Neumann sonda filosuna yükler” ya da “başarısız olur ve herkes ölür” gibi bir şeye dönüşür
Bugün hendek derin görünüyor olabilir ama her yıl daha da sığlaşacak
Yeni bir modeli sıfırdan eğitmek için muazzam kaynak gerekir, ama mevcut bir modelin sonradan eğitimi/ince ayarı için çok daha azı yeterlidir
2 yıl önce bu sürecin bilgisi uzman olmayanlara yabancıydı, ama artık mevcut modellerden birine adım adım sorarak araçları bile birlikte oluşturabilirsiniz
Son zamanlardaki birkaç hafta sonu projesi tam olarak böyleydi. “Bir LoRA yapalım”, “X işi için model ince ayarına yönelik eğitim veri korpusu oluşturalım”, “Yazıdan-görüntü modeline yüzümü nasıl koyarım?” gibi şeylerdi
Bütün bunlar oldukça mütevazı yerel donanımla, örneğin birkaç eski GPU ya da Strix Halo, DGX Spark, büyük bir Mac Studio ile yapılabiliyor; ölçeğe göre bulut bilişimde birkaç dolardan birkaç bin dolara da mal olabiliyor
Bunu şirket ya da startup ölçeğine taşırsanız, son birkaç yılda yapay zekaya akan para düşünülünce, en iyi model şirketlerinin artık ciddi şekilde gelir çıkarması gereken bir dönemde rekabetin artacağı açık
Claude kullanım maliyetinin şiştiğini gördükçe, aynı işi çok daha az parayla yapmanın yollarını aramak için daha fazla fırsat doğuyor. Kodlama için en iyi modellere yakın olan Claude Code’a ayda 100~200 dolar vermek kolay olabilir, ama kullanım bazlı ücretlendirmeye geçince iş hızla karşılanamaz hale geliyor
Bu yüzden onların, en zor problemleri çözmenin neredeyse tek yollarından biri olarak kalmaya devam etmesi ve alternatiflerin maliyetlerinin de benzer seviyede tutulması gerekiyor. OpenAI ile Google’ın da fiyat artırmasını bekleyebilirsiniz
Ama bunun herkes için, özellikle de ekonomik yapısı farklı olan Çinli şirketler için de geçerli olmasını beklemek zor. Ayrıca şirketlerin kendi kullanımına bakıp “Anthropic API’yi en çok kullanan bu tek işi yapan daha küçük bir uzman modeli eğitebilir miyiz?” diye sormayacağını da bekleyemezsiniz
Umarım kastettikleri şey yalnızca Çinli model şirketleri vb. tarafından Claude’un distile edilmesi gibi kullanımlardır. “Gemma 4’ü benim yazı üslubum gibi yazacak şekilde nasıl ince ayarlarız?” gibi şeyleri de engellemek istemiyorlardır
Geri kalanı sermaye yoğun ve fiyatlar zamanla üretim maliyetine yaklaşacak
Bunu yüksek kârlı bir iş olarak görmek, kazanlar pahalı diye kömür santralinin marjlarının iyi olduğunu iddia etmeye benziyor
Kötü niyetle okunursa bu, “makine öğrenmesi mühendisleri/bilim insanları kendi işleri hariç her şeyi otomatikleştirmek istiyor” anlamına geliyor gibi görünüyor
Herkes kendi Mythos’unu yapabilse koruma önlemlerini aşmış olur
Yine de bu, durumun ne kadar tuhaf olduğunu daha da iyi gösteriyor
Modelde bir sessiz zayıflatma sistemi olduğunu ve bunu açıkça söylediklerini görüyoruz. Doğal soru, bunun şimdiden ne kadar kullanıldığıdır
Rakipler zayıflatılıyor mu?
Amerikalı olmayan kullanıcılar daha kötü kod mu alıyor?
Çevrim içi oyunların katılımı en üst düzeye çıkarmak için eşleştirmeyle kazanma-kaybetmeyi etkilemesi gibi, kullanıcıları cezalandırıyor ya da ödüllendiriyorlar mı?
$$$$: biraz zayıflatma
$$$: daha fazla zayıflatma
$$: Fakir misiniz?
$: Kalıcı alt sınıf olarak kalın
“Claude artık sessizce zayıflatılabilir. Anthropic böyle bir şey olsa bile kullanıcıya haber vermemeye karar verdi.” Ne!!