H100 GPU Balonunun Sönüşü: GPU Fiyatları Neden 8 Dolardan 2 Dolara Düştü

• ChatGPT'nin Kasım 2023'te piyasaya çıkmasının ardından H100 GPU talebi hızla arttı ve saatlik kiralama ücreti $4.70'ten $8'in üzerine çıktı
• Veri merkezi sağlayıcıları, H100'leri saatlik $4.50'nin üzerinde kiraladıklarında yatırım geri dönüş süresinin 2 yıldan kısa olacağını öngörüyordu
• Ancak Ağustos 2024 itibarıyla küçük ölçekli kümelerde H100 GPU kiralama ücreti $1~$2 seviyesine geriledi

Veri merkezlerinde H100 yatırım kârlılığı eşiği

• Saatlik $2.85 üzeri: S&P500 getirisinin üzerine çıkma mümkün
• Saatlik $2.85 altı: S&P500 getirisinin altında kalma
• Saatlik $1.65 altı: 5 yıl boyunca yatırım zararı bekleniyor

H100 GPU pazar fiyatındaki sert düşüşün başlıca nedenleri

• Açık ağırlıklı modellerin yükselişiyle birlikte çıkarım ve fine-tuning talebi arttı
• Buna karşın küçük ve orta ölçekli foundation model üreticileri pazarı daraldı
  • Birçok şirket ve girişim, kendi modellerini eğitmek yerine mevcut açık ağırlıklı modelleri ince ayar yapmanın daha ekonomik ve etkili olduğunu fark etti
  • 70B üzeri büyük model eğitimi planı olmayan girişim ve şirketler yatırımlarını geri çekti
• Birçok altyapı sağlayıcısı, 3-5 yıllık uzun vadeli sözleşmelerle kârını güvence altına aldı
  • Bu durum, 2023'teki yapay zeka zirvesi sırasında çeşitli temel model şirketleri tarafından dayatılmıştı
  • Rezerve edilen node'ların kullanılmayan kapasitesi yeniden satılmaya başlandı
• Facebook, Microsoft gibi büyük model üreticilerinin kendi kümelerini kurması, mevcut kümelere olan talebi azalttı
• ChatGPT, Kasım 2022'de A100 serisiyle kullanıma sunuldu; H100 ise Mart 2023'te devreye alındı. H100, A100'den 3 kat daha güçlüydü, ancak fiyatı yalnızca 2 kat fazlaydı
• AMD MI300, Intel Gaudi3 gibi H100'e alternatif GPU'ların ortaya çıkması
• Ethereum'un proof-of-stake'e geçmesi ve ASIC'lerin Bitcoin madenciliğine hâkim olması nedeniyle GPU madenciliği talebi azaldı

Çıkarımlar

• H100 GPU'nun ortalama maliyeti $50k üzerindedir ve 5 yıllık ömür varsayımı altında çeşitli kiralama modelleri bulunur
  • Saatlik $2.85 üzeri seviyelerde hisse senedi piyasası IRR'si aşılabilir, ancak bunun altına düşüldüğünde zarar oluşabilir
• Yeni H100 donanım yatırımları büyük olasılıkla zarara yol açacak
  • İndirimli H100'ler, elektrik fiyatları, özel müşteri gereksinimleri gibi istisnai durumlar hariç
• Buna karşılık düşen H100 fiyatları, açık ağırlıklı yapay zekanın yaygınlaşması için bir katalizör olacak
  • Geliştiriciler ve mühendislerin açık modellerle deney yapması ve uygulama geliştirmesi hızlanabilir
• Featherless.AI, 2.000'den fazla açık kaynaklı yapay zeka modelinde anlık çıkarımı aylık sabit $10 fiyatla sunuyor
  • Donanım kârlılığını sağlamak için tüm katmanlarda optimizasyon ve özelleştirilmiş GPU seçimi şart

GN⁺ görüşü

• GPU pazarındaki değişim: H100 GPU fiyatlarındaki düşüş, GPU pazarının ne kadar hızlı değiştiğini gösteriyor. Bu durum yatırımcılar ve altyapı sağlayıcıları üzerinde büyük etki yaratıyor
• Açık kaynak modellerin etkisi: Llama 3 gibi açık kaynak modellerin yükselişi, fine-tuning ve inference talebini artırıyor. Bu da büyük ölçekli model eğitimi talebini azaltıyor
• Alternatif GPU'ların yükselişi: AMD ve Intel GPU'ları, H100'e alternatif olarak öne çıktıkça pazardaki rekabet yoğunlaşıyor. Bu da GPU fiyatları üzerinde ek aşağı yönlü baskı yaratabilir
• Yapay zeka uygulamalarında fırsat: GPU maliyetlerinin düşmesi, yapay zeka uygulaması geliştirme için giriş bariyerini azaltarak daha fazla inovasyonu teşvik edebilir
• Yatırım stratejisinin yeniden düşünülmesi: GPU altyapısına yatırım daha temkinli bir yaklaşım gerektiriyor ve pazar eğilimleri yakından izlenmeli

[readiz]

llama'nın tetiklediği kelebek etkisi... ilginç. haha

[GN⁺]

Hacker News görüşü

• 2 dolarlık GPU sunan hizmetler güvenilmez bilgi işleme altyapısına dayanarak işleri riske atıyor olabilir. AWS, üst düzey kurumsal GPU altyapısının güvenilirliğini artırdı.

  • 2 dolara H100 sunup kâr etmek mümkün değil.

• Halihazırda altyapısı olan veri merkezleri H100 sayesinde büyük gelir elde edebildi. Ancak verimli bir piyasada bu tür fırsatlar sonsuza kadar sürmez.

  • 2,00 dolar seviyesinde hâlâ kârlı olabilir, ancak ucuz elektrik/altyapı/iş gücü gerekir.

• Asıl kazanç, tek tek GPU'ları/makineleri değil, InfiniBand kümelerini kiralamakta yatıyor.

  • Lambda One Click Cluster, H100 başına saatlik 4,49 dolar fiyat belirtiyor.

• Dünya genelinde 16 H100 düğümüne ihtiyaç duyan ekip sayısı 50'nin altında. Birçok ekip kâra geçemeyecek.

  • Geleneksel yazılım geliştirme şirketlerinde de başarı oranı düşüktür.

• Birçok kurucu, yatırımcıları ikna etmek için model eğitmeye çalışıyor, ancak gerçekten değerli bir model eğiten örnek çok az.

  • OpenAI bile nakit çıkışını durdurmakta zorlanıyor.
  • Teknolojik ilerleme ya da daha ucuz rakiplerin ortaya çıkma ihtimaline dair endişeler var.

• Yapay zeka araştırmalarının çok hareketli olduğu dönemde hesaplama kaynağı satın alamayan üniversite laboratuvarlarının üzüntüsü dile getiriliyor.

  • Yapay zeka kışı gelince hesaplama maliyetleri yeniden ucuzlayacak.

• Bu durum, 'The Prize: The Epic Quest for Oil, Money & Power' kitabında anlatılan petrolün patlama ve çöküş döngülerini hatırlatıyor.

• OpenAI, açık kaynak modellerdeki ilerlemeye karşılık vermek için modellerini geliştirmeyi sürdürmek zorunda.

  • Zamanla OpenAI'ın avantajı çoğu insan için önemli olmaktan çıkabilir.

• Bu, GPU kiralama çiftlikleri için kötü haber gibi görünüyor.

• NVDA üzerindeki short pozisyonunu biraz artırdığını söyleyen bir görüş paylaşılıyor.

  • Zirvenin yaklaştığı düşünülüyor.