gpudeploy - GPU için "Airbnb"

GPU Pazarı

• GPU Deploy, makine öğrenimi ve yapay zeka için uygun fiyatlı bir isteğe bağlı GPU hizmeti sunuyor.
• Makine öğrenimi iş yükleri için önceden yapılandırıldığından GPU örneklerini anında başlatabilirsiniz.

Sunulan GPU Özellikleri ve Fiyatlar

• Nvidia H100, A100, GeForce RTX 4090/3060, Quadro RTX 6000 gibi çeşitli GPU modelleri desteklenir.
• GPU RAM 11 GB ile 640 GB arasında sunulur.
• CUDA çekirdek sayısı 3.584 ile 116.736 arasında değişir.
• vCPU sayısı 16 ile 242 arasında seçilebilir.
• Saatlik fiyatlar $0.06 ile $26.55 arasındadır (satış vergisi hariç, gerçek fiyatlar genelde daha düşüktür).

Boşta Kalan GPU Kullanımı Teklifi

• Boşta kalan GPU'larınız varsa, GPU Deploy aracılığıyla hesaplama kaynağı sağlayabilirsiniz.
  • GPU kümesi yöneticisiyseniz, boştaki hesaplama kaynaklarını kiraya verebilirsiniz.
  • Yapay zeka şirketiyseniz boştaki hesaplama kaynaklarını kiraya verebilirsiniz.
  • Bireysel olarak GPU sahibi olsanız bile katılabilirsiniz.

GN⁺ Görüşü

• İstek üzerine GPU kullanım ücretleri çok pahalı olduğu için, bu hizmete ihtiyaç olduğunda GPU'yu daha düşük maliyetle kullanma şansı verdiği için cazip.
• Ancak uzun vadeli kullanımda doğrudan bir GPU sunucusu kurmak çok daha ekonomik olabilir.
• Bireyler veya KOBİ'ler için GPU kaynaklarını değerlendirme açısından iyi bir seçenek olabilir.
• Şirketler için, GPU sunucu kurulum ve işletme maliyetleri hesaba katılarak, kısa ve uzun vadede devreye alınması değerlendirilmeli.
• Benzer GPU sağlama hizmetleri arasında AWS, GCP ve MS Azure yer alır; her biri için sunulan GPU özellikleri ve fiyat politikası detayları karşılaştırılmalıdır.
• Boşta kalan GPU kullanımı ilgi çekici bir öneri olsa da güvenlik ve kaynak yönetimi açısından endişe yaratabilecek noktalar olabilir.

[GN⁺]

Hacker News yorumları

• Üçüncü taraflara GPU kaynağı sağlarken dikkate alınması gerekenler:
  • Gizlilik sorunu - Saldırgan bir GPU "honeypot" kurup veri toplayabilir
  • Sahte GPU hesaplaması - Saldırgan, işlem yükünü azaltmak için sahte GPU kullanıp sahte veri gönderebilir
  • Arızalı GPU - Kötü niyetli olmayabilir, ancak bozuk bir GPU yanlış sonuçlar üretebilir
• Hizmet şartları ve gizlilik politikasını kabul etmeniz gerekiyor, ancak bağlantının boş bir sayfaya gitmesi garip
• Fikir gerçekten iyi. Vast.ai'daki gibi bir "GPU için Airbnb" yaklaşımı, sadece bu hizmetin neyin daha iyi olduğunun farkına varmak için
• "GPU için Airbnb"den çok "talebe göre GPU sağlama" daha açıklayıcı olacak gibi geliyor
• Güzel bir fikir ve başarılar! Akash Network gibi bir kripto projesi dikkat çekici; hem talep hem de yasal kullanım örnekleri var
• Stability AI'nın donanımı fazla tahsis ettiği gibi şeylerin ne olduğu konusunda bir fikrim yok. Yapay zeka pazarlamasından bu kadar etkilenmek işte bu olur sanırım
• Harika bir fikir! Sağlayıcı için güvenlik garantisi nasıl sağlanıyor? Bir GPU kümesini kiralarken kiracıya ne tür erişim hakları verilir? Sadece GPU kernel'i mi gönderilir, yoksa sınırlı kullanıcı erişimi de mi sağlanır? Operatörün bir router portu açmadan da akıcı bir deneyim için özel bir ağa eklenmesi düşünüldü mü?
• Fiyatları merak ediyorsanız GPUMonger.com'u kontrol edin. Bu hizmet daha derin ve gerçekten bir hizmete benziyor ama sadece bir fiyat karşılaştırıcısı istiyorsanız GPUMonger daha iyi görünüyor.
• Donanıma yönelik yazılımsal çözümlerle bu tür şirketler hızla ortaya çıkıyor. Mevcut kullanılabilir hesaplama gücü çoğunlukla zaten tahsis edilmiş gibi göründüğü için daha fazla sağlayıcı eklenmeli gibi duruyor. Neden Y Combinator benzer şirketlere tekrar yatırım yapıyor? Shadeform.ai bunun bir diğer örneği.
• Bazı görüşler:
  • Kurulum betiğine bakılırsa set -e ile başlamadığı için yarım kalmış kurulumlar olabilir
  • Bilinmeyen bir amaçla instance-server ikili dosyası kuruluyor. Kendi sunucularımda/alt yapımda buna güvenebilir miyim?
  • Nvidia odaklı olduğu için AMD GPU'lar kısa süre içinde desteklenmeyecek gibi görünüyor
  • MVP gibi görünüyor. Zamanla nasıl gelişeceğini görelim.
• RTX 4090 boşta kalırsa ne kadar kazanırsınız?