Dario Amodei, DeepSeek’in V3 ve R1 modellerine yönelik algının abartıldığını savunuyor
Yapay zeka gelişiminin üç dinamiği (Three Dynamics of AI Development)
-
Scaling laws: Diğer unsurlar aynı kaldığında, yapay zeka sistemlerinin performansı ölçek büyüdükçe artar. Örneğin 1 milyon dolarlık bir model kodlama görevlerinin %20’sini, 10 milyon dolarlık bir model %40’ını, 100 milyon dolarlık bir model ise %60’ını doğru yapar.
-
Shifting the curve: Model mimarisi veya hesaplama verimliliğindeki artışlar maliyet-performans eğrisini kaydırır. Maliyet verimliliğindeki küçük yenilikler yaklaşık 1,2 kat, orta büyüklükte yenilikler 2 kat, büyük yenilikler ise yaklaşık 10 kat artış sağlar. Ancak maliyet verimliliği artsa da şirketler eğitim maliyetini azaltmak yerine bunu yeniden daha yüksek performanslı modeller üretmeye yatırır. Bu tür yenilikler birikerek yılda yaklaşık 4 katlık artış yaratıyor.
-
Shifting the paradigm: 2023’e kadar, devasa internet verileriyle eğitilen pretrained model ölçeklemenin ana hedefiydi. Ancak 2024’ten itibaren o1 ile birlikte reinforcement learning kullanılmaya başlandı. Bu yöntem, genel bir pretrained model ile başlayıp ardından bir reinforcement learning aşaması ekleme şeklinde işliyor. 2024’ten beri reinforcement learning aşamasının ölçeklenmesi de başlamış durumda, ancak hâlâ erken aşamada olduğu için az miktarda yatırımla büyük performans artışı sağlanabiliyor.
DeepSeek modelleri
DeepSeek, bir ay önce pretrained model olan DeepSeek-V3’ü yayımladı ve geçen hafta buna bir reinforcement learning aşaması eklenmiş R1’i duyurdu. DeepSeek-V3, SOTA performansına yaklaştı ve model verimliliğini önemli ölçüde artırdı.
- Ancak DeepSeek’in 6 milyon dolarla ABD şirketlerinin milyarlarca dolarlık modelleriyle eşdeğer performans gösterdiği yönündeki söylentiler abartılı. Claude Sonnet 3.5’in eğitimi onlarca milyon dolara mal oldu ve 1 yıl önce eğitildi.
- Eğitim verimliliğinin yılda yaklaşık 4 kat arttığı ve V3’ün performansının SOTA’ya tam ulaşmadığı göz önüne alındığında (eğride yaklaşık 2 kat maliyet farkı), V3 modelinin yaklaşık 8 kat daha düşük maliyetle eğitilmiş olması bugünkü ilerleme eğiliminin dışında değil. ABD şirketleri de yakında kendi yöntemleriyle bu düzeyde verimliliğe ulaşacaktır.
- Sorun, bu eğilimi izleyen bir modelin Çin’den çıkmış olması.
- DeepSeek’in elinde 50.000 adet Hopper nesli çip bulunuyor. Bu, ABD şirketlerinin yaklaşık 1/2 ila 1/3’ü düzeyinde; bu da hesaba katıldığında ABD şirketleriyle aradaki maliyet farkı o kadar büyük değil.
- Mühendislik açısından R1, V3’ten daha az ilgi çekici. Şu anda reinforcement learning eğrisinin erken aşamasında olduğumuz için R1, düşük maliyetle o1 düzeyinde performans gösterebildi. Reinforcement learning ölçeklenmesi ilerledikçe bu tür örnekler azalacaktır.
İhracat kontrolleri
- ABD ve Çin’deki laboratuvarlar güçlü yapay zeka geliştirmek için muazzam miktarda para yatırıyor ve bu, neredeyse her alanda neredeyse tüm insanlardan daha üstün yapay zeka modelleri ortaya çıkana kadar sürecek. Bunun 2026-2027 civarında gerçekleşeceği tahmin ediliyor.
- O noktada, ihracat kontrollerine bağlı olarak dünya tamamen farklı şekilde ayrışabilir.
- Çin milyonlarca çip elde ederse, ABD ve Çin’in her birinin güçlü yapay zeka modellerine sahip olup teknolojiyi yenilediği iki kutuplu bir dünya oluşacaktır.
- Çin milyonlarca çip elde edemezse, yalnızca ABD ve müttefiklerinin güçlü modellere sahip olduğu tek kutuplu bir dünya oluşacaktır. Yapay zeka, yapay zeka gelişimini de hızlandırdığı için bu eğilim bir süre devam edecektir.
- DeepSeek’in başarısı, ihracat kontrollerinin başarısız olduğu anlamına gelmiyor. Zaten ihracat kontrolleri öncesinde yeterli sayıda çipi temin etmişlerdi.
Ek olarak Amodei, 3.5 Sonnet’in gizli üst düzey modellerin (3.5 Opus vb.) damıtılmış bir sürümü olduğu yönündeki söylentileri de yalanladı.
3 yorum
Sorun modelin Çin'de ortaya çıkmış olması mı?
Asıl sorun açık model olmasıdır herhalde…
AGI'nin ortaya çıkacağı günü hem heyecanla bekliyor hem de biraz korkuyorum.
Bunu Anthropic söylüyorsa... hmm
Aylardır model tarafında yeni bir haber gelmediği için, Anthropic ne yapıyor diye alttan alta konuşulmaya başlandı.