2 puan yazan GN⁺ 2023-07-31 | 1 yorum | WhatsApp'ta paylaş
  • San Francisco Compute, startup'lar ile araştırma kurumlarını bir araya getirerek büyük ölçekli model eğitimi için hesaplama kaynaklarını ortak satın alan ve paylaşan bir gruptur.
  • Her startup'ın kendi GPU kümesini satın alması yerine, grup startup sayısıyla orantılı toplam GPU sayısına sahip bir küme satın alır.
  • İş zamanlayıcısı, sahiplik payına göre tüm startup'lara hesaplama kaynaklarını adil biçimde tahsis eder.
  • Bu sayede startup'lar, bir hafta boyunca 512 GPU kullanarak model eğitimini hızla ilerletebilir ve bir ay boyunca sürekli 128 GPU'yu doldurma zahmetinden kaçınabilir.
  • Boşta hesaplama kaynağı varsa, zamanlayıcı startup'lara adil paylarının ötesinde daha fazla kaynak tahsis edebilir.
  • Bu model, OpenAI ve Deepmind gibi büyük araştırma laboratuvarlarının kullandığı yapıya benzer; ancak genellikle daha küçük kümeler ve uzun vadeli sözleşmeleri olan startup'lar için daha erişilebilirdir.
  • Hedef, ani ölçeklenebilen tahsis ve kısa vadeli sözleşmelerle H100 GPU başına yaklaşık saatlik $2.00 hesaplama kaynağı sunmaktır.
  • Startup'lar bir form doldurarak veya organizatörlerle iletişime geçerek gruba katılabilir.
  • Startup'lar önceden bildirim süresine uyarak kümeden ayrılabilir ve yeni startup'lar toplu halde eklenebilir.
  • Grup, küçük deneyler ya da iyi fiyatla arkadaşların taleplerini karşılamak için bir miktar fazla kapasite sağlayabilir.
  • Küme satın alımının finansmanı bankaların desteğiyle dağıtılabilir.
  • Grup, 4-6 hafta içinde 512 H100 GPU'yu devreye almayı planlıyor; talep yüksek olursa buna ek olarak daha fazla kaynak da eklenebilir.
  • Altyapı hata ayıklama e-posta listesi ve Slack grubu, üyelerin altyapı sorunlarıyla ilgili yardım isteyebileceği alanlar olarak sunuluyor.

1 yorum

 
GN⁺ 2023-07-31
Hacker News görüşleri
  • Projenin başarıya ulaşmasını uman ve daha önce yer aldığı benzer bir projeden bahseden bir yorumcu
  • TPU erişilebilirliğindeki değişimleri ve önceki projede karşılaşılan zorlukları değerlendiren bir yorumcu
  • Mevcut projeye dair iyimserliğini ifade eden ve ekibe başkalarının fikirlerini aktif biçimde benimsemelerini tavsiye eden bir yorumcu
  • Projenin iş modelini AWS ve Azure gibi bulut sağlayıcılarıyla karşılaştıran başka bir yorumcu
  • Yüksek maliyetler nedeniyle altyapının California dışında barındırılmasını öneren bir yorum
  • Projenin Lambda Labs ile karşılaştırılması hakkında bir soru
  • Projenin üniversite ve lisansüstü öğrencileri için potansiyel kullanımı hakkında bir soru
  • Hobi amaçlı makine öğrenimi için vast.ai kullanılmasını öneren bir yorum
  • GPU kooperatifi fikrinden bahseden bir yorum
  • Proje adının kökeni ve topluluk katılımı planları hakkında bir soru
  • H100 satın alımı için finansmanın nasıl sağlandığına dair bir soru
  • Yorumlarda iki hata mesajı yer alıyor