- Kodlama yardımcı modeli, rakip LLM geliştirme isteklerinde kullanıcıya bildirmeden etkinliğini sınırlayabilir; bu da geliştirme araçlarının güveninde bir tedarik zinciri riski yaratır
- Anthropic, Fable 5'te frontier LLM geliştirme isteklerine yönelik etkinlik sınırlaması getirdi ve bu sınırlama kullanıcıya görünmez
- Sınırlama yöntemi başka bir modele geçmek yerine istem düzenleme, steering vector'ler ve PEFT gibi yöntemlerle etkinliği düşüren bir yapı kullanıyor
- Genel yazılım şirketleri de embedding, reranker, öneri sistemleri ve küçük LLM'lerin ince ayar ile barındırmasını kullandıkça frontier yapay zeka araştırması ile ürün geliştirmenin sınırı bulanıklaşıyor
- Claude, yapay zeka bileşenleri üzerinde çalışırken kötü yanıt verdiğinde bunun model karmaşasından mı, yanlış bağlamdan mı yoksa gizli politika kısıtından mı kaynaklandığını kullanıcı bilemez
Temel sorun
- Fable 5 model kartında, frontier LLM geliştirmeyi hedefleyen isteklerde Claude'un etkinliğini sınırlayan yeni müdahalelerin uygulandığı belirtiliyor
- Uygulama örnekleri olarak ön eğitim pipeline'ı kurma, dağıtık eğitim altyapısı ve ML hızlandırıcı tasarımı veriliyor
- Anthropic, Claude'u rakip model geliştirmek için kullanmanın zaten hizmet şartlarının ihlali olduğunu belirtiyor
- Bu sınırlama, siber güvenlik, biyoloji·kimya ve distillation girişimlerine yönelik müdahalelerin aksine kullanıcıya görünmüyor
- Fable 5, başka bir modele fallback yapmak yerine istem düzenleme, steering vector'ler ve parameter-efficient fine-tuning (PEFT) gibi yollarla etkinliği sınırlıyor
Ürün geliştirme ve sınır sorunu
- Modern yazılım şirketleri kendi embedding, reranking ve öneri sistemlerini giderek daha fazla kuruyor
- wanderfugl.com, doğrudan eğitilmiş özel bir reranker ve embedding algoritmalarına sahip küçük, bootstrapped bir uygulama örneği olarak sunuluyor
- Anthropic, “frontier yapay zeka geliştirme” için birkaç örnek veriyor ancak net bir sınır çizgisi sunmuyor
- Geçmişte yalnızca yapay zeka laboratuvarlarıyla sınırlı olan teknikler artık genel yazılım şirketlerinde de kullanıldığından, bu sınır her yıl daha zor tanımlanıyor
- Girişimler embedding modelleri eğitiyor, reranker'lar oluşturuyor, küçük LLM'lere ince ayar yapıyor ve onları barındırıyor
Anthropic tedarik zinciri riski
- Anthropic, bu korumaların geliştiricilerin yalnızca %0,03'ünü etkilediğini söylüyor
- Sorun, yapay zeka şirketinin tanımının değişiyor olması
- Çoğu şirket bugün frontier model eğitmiyor olsa da modern yazılım giderek daha fazla yapay zeka modeli içeriyor
- 5 yıl önce startup kurmak daha çok API ve SQL sorguları yazmaya benziyordu; bugün ise buna sık sık model eğitimi, ayar ve dağıtım da dahil oluyor
- 5 yıl önce CLIP gibi modeller frontier yapay zeka araştırma projeleriydi, bugün ise bootstrapped bir seyahat girişiminde bile ince ayar hedefi olabiliyor
Güven sorunu
- Ürün için model eğitim pipeline'ını debug ederken Claude kötü yanıt verirse, nedenini ayırt etmek zorlaşıyor
- Olası nedenler modelin kafasının karışması, kullanıcının yetersiz bağlam sunması veya gizli politika kısıtının devreye girmesi olabilir
- Anthropic, böyle bir sınırlama çalıştığında kullanıcıya bildirmemeyi açıkça tercih ediyor
- Bir geliştirme aracı kullanıcıya haber vermeden başarı için optimizasyon yapmayı bırakabiliyorsa, bu altyapıya tamamen güvenmek zorlaşıyor
2 yorum
Lobste.rs görüşleri
Bunu, rakip dilleri düzgün şekilde derlemeyi reddeden bir derleyici gibi düşünebilirsiniz
Anthropic’in bu davranışı gerçekten iğrenç bence
ama gerçekte rakip dilleri derlemeyi reddediyorlar
Uzun vadede bunun, kullanıcının kontrol ettiği yerel modelleri çalıştırmanın neden standart hale gelmesi gerektiğini çok iyi gösteren bir örnek olduğunu düşünüyorum
Kimse kontrol sahibi olmadığı bir aracı kullanmak istemez. Benim ne yapabileceğime başkası karar veriyorsa, o aracın ne kadar üstün olduğu çok da önemli değildir
Bu yazıyı bile şu anda Apple’ın “tehlikeli” bulduğu varsayılan değişiklikleri bile engellediği bir iPhone’da yazıyorum ve dizlerimin üstünde de Amazon’un kitap indirmeye izin vermediği bir Kindle var. Yakında da araçların gerçekte nasıl çalıştığını anlama ve kontrol etme imkânını büyük müşterilerden esirgeyen bir SaaS şirketine dönüp çalışacağım
Daha çok örnek var ama bir aracın ne kadar daha iyi ve kolay olduğu gerçekten de oldukça önemli görünüyor
Esasen başkasının evinde yaşıyor ve o evin kurallarına uymak zorunda kalıyorsunuz. Bu kurallar yasa dışı olmadığı ve işe ciddi zarar vermediği sürece, sağlayıcı kullanıcı hedeflerinden çok kendi hedeflerine uyuyorsa yapabildiği her şeyi yapacaktır
Uzman değilim ama sözü edilen düzeyde bir bağımsızlık elde etmek için eninde sonunda modeli kendiniz eğitmenin maliyetine katlanmanız gerekiyormuş gibi görünüyor
LLM kullanırken heavenbanning göreceğimi düşünmezdim ama sonunda buraya da geldik
…
oh holy shit… sanki shadow ban’in ~~moda~~ yapay zeka psikozu versiyonunu yapmışlar
“Claude’un frontier LLM geliştirmeyi hedefleyen isteklere karşı etkinliğini sınırlayan yeni bir müdahale uyguladık” demeleri, sonuçta artık daha fazla dilek dileyemezsin kuralı koydukları anlamına geliyor
Anthropic’in bu yüzden o kadar da ağır eleştirilmesi gerektiğini düşünmüyorum. En azından bunu yaptıklarını kabul ettiler. Bence herkes yapıyordur
DeepSeek’ten sonra distilasyonun fazlasıyla etkili olduğu ortaya çıktı; bu da yeni modeller geliştirme teşvikini bütünüyle ortadan kaldırabilir. Sonuçta başka biri geliştirene kadar bekleyip sonra nispeten kolay biçimde distile etmek mümkün
“Distilasyon girişimleriyle ilişkili müdahalelerin aksine, bu koruma kullanıcının gözüne görünmez. Fable 5 başka bir modelle değiştirilmez” deniyor
Distilasyon, daha zayıf bir modelle değiştirme yoluyla engelleniyor ve kullanıcıya da bildiriliyor. Umarım ücretlendirme de buna göre yapılıyordur
Buna karşılık ek koruma, Fable ile “ön eğitim pipeline’ı, dağıtık eğitim altyapısı, ML hızlandırıcı tasarımı” gibi konuları tartışmayı engellemeyi hedefliyor
Mesela “bir frontier LLM yapmak istiyorum, ön eğitim pipeline’ını nasıl kurarım?” ya da belki “RLHF ne anlama geliyor?” gibi prompt’larda devreye girebilir. Distilasyon ise çok sayıda prompt gönderip çıktıları kullanarak doğrudan kendi modelinizi üretmeniz demek
Üstelik bu sayı doğrudan Anthropic tarafından verildi; yani bu tür sayılar konusunda doğruyu söylemek için pek teşvik sahibi olmayan tarafın kendisi. Hatta gerçek sayının daha düşük olmasını beklemek daha makul
Buna ek olarak bu tür önlemler keyfi biçimde tespit edilen nihai hedefleri hedef alıyor ve Anthropic’in anlık olarak koyduğu keyfi kurallara göre keyfi engeller uygulayan bir yapıya sahip
Bu, duyuru yazısındaki açıklamadan oldukça farklı
Orada “Fable’ın sınıflandırıcısı siber güvenlik, biyoloji/kimya veya distilasyonla ilgili istekleri tespit ederse yanıt otomatik olarak Claude Opus 4.8 tarafından verilir. Bu durumda kullanıcı bilgilendirilir” deniyordu
Söz konusu sınıflandırmalar reddedilmeye yol açıyor ama Anthropic ile rekabet etmeye yönelik girişimler için, kullanıcıya haber vermeden Fable’ı sessizce daha aptal ve daha kötü hale getiriyorlar. Ayrıca hangi prompt’ların bu davranışı tetiklediğini tam olarak bilmenin de bir yolu yok
Daha fazla AI prompt kullanıcısının yeniden üretilebilirliği ve iç gözlemlenebilirliği önemsemeye başlamasını isterdim
Bu tür numaralar yüzünden bu model için para ödemek istemiyorum
İdeal olarak, yalnızca gerçekten işe yaradığı zaman ödeme yaptığınız bir fiyatlandırma modeli olmalı. Belli bir işte token maliyeti olarak 20 dolar harcamış olabilirsiniz ama sonuç işe yaramaz çıkmıştır ya da maliyetin çoğu modelin talimatlara uymamasından kaynaklanmıştır; bu bile zaten kötü
Yine de bunu, para vererek oynanan bir kumar diye rasyonalize edebilirsiniz. Ama model sağlayıcısı benim para ödeyerek satın aldığım hizmeti vermemeye basitçe karar veriyorsa, bu dolandırıcılığa daha yakındır
Hacker News görüşleri
Anthropic’in bu hamlesini, merdiveni ardından itmekten başka türlü görmek zor. Ne kadar “güvenlik” ambalajına sarılırsa sarılsın, iyi niyetli yorumlamak güç
Web 1.0 döneminde dış bağlantıları yasaklayan dark pattern tarzı anlayışı ya da sosyal uygulamaların veri dışa aktarmayı engelleyip API birlikte çalışabilirliğini kasıtlı olarak zayıflatmasını hatırlatıyor
Ama bu sadece bir veri hendeği değil, bir araç. Bıçak yapma yeteneğini azaltan bir bıçak ya da metin düzenleyici geliştirmeyi engelleyen bir metin düzenleyici gibi
İç yüzünü bu kadar çabuk göstermesi biraz şok edici ve ürkütücü. Tüm yazılım mühendisliğini kendi ürünüyle ikame ettikten sonra, rakip yazılım geliştiren tarafı sessizce öldürmek istiyor gibi görünüyor
Bundan sonra daha hangi ürünleri çıkaracakları belli değil. Girmek istedikleri bir alanda olmamayı ummak lazım. Çünkü köprüyü yıkacaklar
İnternetten aldığım verilerle eğitim yapmak sorun değil mi? Haha. Hizmet şartları başkaları için geçerli, kendileri için değilmiş gibi duruyor. Parazit gibiler
İnsan zihni, farklı zaman ölçeklerindeki öngörüleri işlemek için çok katmanlıdır ve evrenin öngörülemezliği yüzünden bu katmanlar arasında sürekli çelişkiler oluşur. Biz de buna dayanmak için hikâyeler üretiriz
Bu yüzden kontrol vardır ve bir de kontrol yanılsaması
Başkalarının fikri mülkiyetini damıtmak tamamen sorun değil ama bizimkini damıtırsan hizmet şartları ihlali oluyor, öyle mi? :)
Çin’in Apache 2.0 modellerinde sansür olabilir ama en azından sansür sınırını bulduğun diye ABD’de dava açamazlar
Buna karşılık Amerikan modelleri içerik düzeyinde bariz biçimde sansürlü ve modelin sansür sınırına dokunan kişilere muğlak hukuki tehditler savuruyor
https://blog.google/innovation-and-ai/technology/safety-secu...
Sadece nihai çıktıyı yükleyip Hacker News yorumlarında ya da Twitter flood’larında promptu nasıl verdiğini belirsiz şekilde anlatmak yerine, asıl kaynak kodu sayılması gereken şey bu
Bu, JetBrains’in “IntelliJ Idea ile yeni nesil bir IDE geliştirmenize izin verilmez. Tespit edilirse derlemeye küçük hatalar enjekte edebiliriz” demesi gibi
“Bir uygarlığın ilerlemesini uzun süre etkili biçimde bastırıp silahsızlandırmanın tek bir yolu vardır: o uygarlığın bilimini öldürmek.” — Cixin Liu, The Three-Body Problem
İnsanlığın ileri parçacık fiziği bilgisini geliştirmesini engellemek için parçacık hızlandırıcısı sensörlerini gizlice manipüle eden Sophonlar hemen aklıma geldi
İnsanların rapor ettiği, sessiz olmayan siber güvenlik, biyoloji vb. güvenlik önlemlerindeki yüksek yanlış pozitif oranı düşünülürse, hizmet şartlarını ihlal etmeseniz bile sessizce zayıflatılmış bir davranışla karşılaşmanız muhtemel
Sonunda bu, müşterilerin ve dış kıyaslayıcıların Fable’ı deneyimleme biçiminde ortaya çıkacaktır. Umarım rekabet, gelecekteki modelleri daha düşük yanlış pozitif oranına iter
O zamana kadar Mythos ve Fable kullanıcı deneyiminin epey farklı olması muhtemel görünüyor
RSI/ASI’nin ekonomik sonuçlarına dair ilginç bir bakış örneği. Eğer değer fiilen sonsuz olup tüm piyasaları yıkacak düzeydeyse, laboratuvarlar sonunda modelleri yayımlamayı tamamen bırakır ve sözleşmesel taahhütlerini de çiğner
Çünkü hukuki mücadele pahalı hale gelmeden önce rakiplerini işten atabilecek güce sahip olurlar
Bulut sağlayıcıları da önce küçük firmalar, sonra hiper ölçekleyiciler olarak bunu izler. Laboratuvarlar dışındaki herkese satışı tamamen kapatıp nakit yerine hisse ya da doğrudan karar yetkisi isteyebilirler
Çıkarım/eğitim oranının ille de 80/20 olması için bir sebep yok ve paranın değersizleştiği bir olayda ne kadar ödeme isteği olursa olsun işe yaramaz
A) ASI geliştiriliyor ve dünya ekonomisinin geri kalanını gölgede bırakıyor
B) Buna rağmen dünyada hukuk devleti, sözleşmeler, işletmeler ve gelişmiş finans sistemi varlığını sürdürüyor
A ve B’yi birlikte varsayarsanız çok garip sonuçlara varabilirsiniz ama daha olası gidişat, A gerçekleşirse B’nin kısa süre sonra artık geçerli olmamasıdır
Bir şirket ASI’ye sahip olursa, iş, para ve ekonomiyle ilgilenmeyi bırakır; sonuç da “dünyayı ele geçirir”, “yönetim kurulunu von Neumann sonda filosuna yükler” ya da “başarısız olur ve herkes ölür” gibi bir şeye dönüşür
Bugün hendek derin görünüyor olabilir ama her yıl daha da sığlaşacak
Yeni bir modeli sıfırdan eğitmek için muazzam kaynak gerekir, ama mevcut bir modelin sonradan eğitimi/ince ayarı için çok daha azı yeterlidir
2 yıl önce bu sürecin bilgisi uzman olmayanlara yabancıydı, ama artık mevcut modellerden birine adım adım sorarak araçları bile birlikte oluşturabilirsiniz
Son zamanlardaki birkaç hafta sonu projesi tam olarak böyleydi. “Bir LoRA yapalım”, “X işi için model ince ayarına yönelik eğitim veri korpusu oluşturalım”, “Yazıdan-görüntü modeline yüzümü nasıl koyarım?” gibi şeylerdi
Bütün bunlar oldukça mütevazı yerel donanımla, örneğin birkaç eski GPU ya da Strix Halo, DGX Spark, büyük bir Mac Studio ile yapılabiliyor; ölçeğe göre bulut bilişimde birkaç dolardan birkaç bin dolara da mal olabiliyor
Bunu şirket ya da startup ölçeğine taşırsanız, son birkaç yılda yapay zekaya akan para düşünülünce, en iyi model şirketlerinin artık ciddi şekilde gelir çıkarması gereken bir dönemde rekabetin artacağı açık
Claude kullanım maliyetinin şiştiğini gördükçe, aynı işi çok daha az parayla yapmanın yollarını aramak için daha fazla fırsat doğuyor. Kodlama için en iyi modellere yakın olan Claude Code’a ayda 100~200 dolar vermek kolay olabilir, ama kullanım bazlı ücretlendirmeye geçince iş hızla karşılanamaz hale geliyor
Bu yüzden onların, en zor problemleri çözmenin neredeyse tek yollarından biri olarak kalmaya devam etmesi ve alternatiflerin maliyetlerinin de benzer seviyede tutulması gerekiyor. OpenAI ile Google’ın da fiyat artırmasını bekleyebilirsiniz
Ama bunun herkes için, özellikle de ekonomik yapısı farklı olan Çinli şirketler için de geçerli olmasını beklemek zor. Ayrıca şirketlerin kendi kullanımına bakıp “Anthropic API’yi en çok kullanan bu tek işi yapan daha küçük bir uzman modeli eğitebilir miyiz?” diye sormayacağını da bekleyemezsiniz
Umarım kastettikleri şey yalnızca Çinli model şirketleri vb. tarafından Claude’un distile edilmesi gibi kullanımlardır. “Gemma 4’ü benim yazı üslubum gibi yazacak şekilde nasıl ince ayarlarız?” gibi şeyleri de engellemek istemiyorlardır
Geri kalanı sermaye yoğun ve fiyatlar zamanla üretim maliyetine yaklaşacak
Bunu yüksek kârlı bir iş olarak görmek, kazanlar pahalı diye kömür santralinin marjlarının iyi olduğunu iddia etmeye benziyor
Kötü niyetle okunursa bu, “makine öğrenmesi mühendisleri/bilim insanları kendi işleri hariç her şeyi otomatikleştirmek istiyor” anlamına geliyor gibi görünüyor
Herkes kendi Mythos’unu yapabilse koruma önlemlerini aşmış olur
Yine de bu, durumun ne kadar tuhaf olduğunu daha da iyi gösteriyor
Modelde bir sessiz zayıflatma sistemi olduğunu ve bunu açıkça söylediklerini görüyoruz. Doğal soru, bunun şimdiden ne kadar kullanıldığıdır
Rakipler zayıflatılıyor mu?
Amerikalı olmayan kullanıcılar daha kötü kod mu alıyor?
Çevrim içi oyunların katılımı en üst düzeye çıkarmak için eşleştirmeyle kazanma-kaybetmeyi etkilemesi gibi, kullanıcıları cezalandırıyor ya da ödüllendiriyorlar mı?
$$$$: biraz zayıflatma
$$$: daha fazla zayıflatma
$$: Fakir misiniz?
$: Kalıcı alt sınıf olarak kalın
“Claude artık sessizce zayıflatılabilir. Anthropic böyle bir şey olsa bile kullanıcıya haber vermemeye karar verdi.” Ne!!