Şirketler GPU'lara daha ucuz erişim isterken alternatif bulut hızla büyüyor

Alternatif bulut platformlarının büyümesi

• Alternatif bulut platformlarına yönelik talep her zamankinden daha fazla artıyor
• CoreWeave kısa süre önce 1,01 milyar dolarlık yeni yatırım aldı ve şirket değeri 19 milyar dolara ulaştı
• Lambda Labs de 500 milyon dolarlık özel amaçlı finansman sağladı; Voltage Park ise GPU tabanlı veri merkezlerine 500 milyon dolar yatırım yapıyor
• Together AI, Salesforce liderliğinde 106 milyon dolarlık yatırım aldı

Üretken yapay zeka talebindeki artış

• Üretken yapay zeka patlaması sürerken, büyük ölçekte üretken yapay zeka modellerini çalıştırmak ve eğitmek için gereken donanıma olan talep de artıyor
• GPU'lar, üretken modelleri oluşturan doğrusal cebir denklemlerini paralel olarak işleyebilen binlerce çekirdek içerdiğinden model eğitimi, ince ayar ve çalıştırma için ideal bir seçenek
• Ancak GPU kurulum maliyetleri yüksek olduğundan geliştiricilerin ve kuruluşların çoğu buluta yöneliyor

Alternatif bulut platformlarının avantajları

• AWS, Google Cloud ve Microsoft Azure gibi mevcut bulut bilişim sağlayıcıları, üretken yapay zeka iş yükleri için optimize edilmiş GPU ve özel donanım sunucu örnekleri sağlıyor
• Ancak bazı modeller ve projeler için alternatif bulutlar daha ucuz olabilir ve daha iyi erişilebilirlik sunabilir
• CoreWeave'de Nvidia A100 40GB kiralamanın maliyeti saatlik 2,46 dolar, yani aylık 1.771 dolar. Azure'da aynı GPU saatlik 3,40 dolar, aylık 2.448 dolar; Google Cloud'da ise saatlik 3,67 dolar, aylık 2.642 dolar

Alternatif bulut platformlarının karşılaştığı zorluklar

• Kritik nokta, alternatif bulut sağlayıcılarının GPU'ları büyük ölçekte çevrimiçi tutup rekabetçi fiyatlarla sunmaya devam edip edemeyeceği olacak
• Google, Microsoft ve AWS gibi yerleşik oyuncular model çalıştırma ve eğitim için özelleştirilmiş donanıma yatırımı artırdıkça fiyat rekabeti zorlaşabilir
• Birçok üretken yapay zeka iş yükü GPU'larda en iyi şekilde çalışsa da zamana duyarlı olmayan görevler için GPU zorunlu olmayabilir
• Üretken yapay zeka balonunun sönmesi halinde GPU'larda arz fazlası oluşması ve talebin keskin biçimde düşmesi riski var

GN⁺ görüşü

• GPU talebindeki patlama, Nvidia gibi büyük GPU tedarikçilerinin etkisini daha da artırabilir. Nvidia'nın alternatif bulut sağlayıcılarına GPU'larda öncelikli tedarik hakkı verdiği bildiriliyor; bu da Nvidia'nın pazar hakimiyetini güçlendirme stratejisi gibi görünüyor
• Bulut sağlayıcıları büyük GPU kümeleri edinmeyi başarırsa büyük yapay zeka projelerini çekmede rekabet avantajı elde edebilir. Microsoft'un, OpenAI'ye GPU hesaplama gücü sağlamak için CoreWeave ile milyarlarca dolarlık bir anlaşma imzalaması bunun en iyi örneklerinden biri
• Ancak uzun vadede Google TPU, MS Azure Maia/Cobalt ve AWS Trainium gibi yapay zeka odaklı özel silikonların geliştirilmesiyle bulut sektörünün dengesi ciddi biçimde değişebilir. Hiperscaler'ların Nvidia'ya bağımlılığı azaltmaya çalışması bekleniyor
• Alternatif bulut yeni bir seçenek olarak öne çıksa da güvenlik, uyumluluk ve çoklu bulut yönetimi yetkinliğine sahip müşteri sayısı sınırlı kalabilir. Mevcut bulut sağlayıcılarının pazar hakimiyeti hâlâ çok güçlü

[GN⁺]

Hacker News yorumu

Özet:

• AWS'nin iş modeli, fiyatlandırmayı kafa karıştırıcı hale getirip maliyeti ancak kullanım sonrasında öğrenilebilir kılıyor gibi görünüyor
• GCP'nin yeni instance türü n4-standard-2 için yapılan aylık maliyet analizi, vCPU ve bellek maliyetinin aylık 69 dolar ile yüksek tarafta olduğunu ve SSD fiyatlarının da pahalı olduğunu gösteriyor
• Önümüzdeki 10 yıl içinde büyük bulut sağlayıcılarının zorlanması bekleniyor. planetary-scale sistemler kurmanın maliyeti ve karmaşıklığı, bunu haklı çıkarmayı zorlaştırıyor
• CoreWeave, Azure ve Google Cloud'un Nvidia A100 40GB GPU kiralama maliyetlerini karşılaştıran bir makalede hesaplama hatası var. CoreWeave'in aylık maliyeti yaklaşık %30 farklı çıkıyor
• fly.io, GPU iş yükleri için uygun bir alternatif olarak öneriliyor. Otomatik ölçeklendirme özelliği iyi
• AWS'nin iş modeli, erken aşama girişimler büyük şirketlere dönüşürken onlardan ciddi gelir elde etmeye dayanıyor gibi görünüyor. Ancak ZIRP'in sona ermesi ve VC fonlamasının zorlaşması nedeniyle, patlayıcı büyüme uğruna çok para harcayabilecek girişim sayısının azalması bekleniyor
• Çıkarım işleri için alternatif bulut GPU'ları kullanma deneyimine dair bir soru gündeme geliyor. Gecikme önemli ve AWS altyapısıyla başka yerdeki GPU'lar arasında iletişim kurmak zor olabilir
• Core Weave ve Lambda Labs, yıllık sözleşme olmadan GPU kiralamanın mümkün olmadığı yırtıcı bir fiyatlandırma politikasına sahip. sfcompute gibi saatlik hesaplama sunan şirketler de var
• "H100s/A100s'ten küçük bir miktar temin ettik" demek başlı başına kârlı bir teknoloji iş modeli olabilir
• Crusoe Cloud, H100s, A100s ve L40s'yi çok ucuz fiyatlara sunuyor ve ağ kullanım ücreti de almıyor. FLOP başına fiyatı rakipsiz