- San Francisco Compute, startup'lar ile araştırma kurumlarını bir araya getirerek büyük ölçekli model eğitimi için hesaplama kaynaklarını ortak satın alan ve paylaşan bir gruptur.
- Her startup'ın kendi GPU kümesini satın alması yerine, grup startup sayısıyla orantılı toplam GPU sayısına sahip bir küme satın alır.
- İş zamanlayıcısı, sahiplik payına göre tüm startup'lara hesaplama kaynaklarını adil biçimde tahsis eder.
- Bu sayede startup'lar, bir hafta boyunca 512 GPU kullanarak model eğitimini hızla ilerletebilir ve bir ay boyunca sürekli 128 GPU'yu doldurma zahmetinden kaçınabilir.
- Boşta hesaplama kaynağı varsa, zamanlayıcı startup'lara adil paylarının ötesinde daha fazla kaynak tahsis edebilir.
- Bu model, OpenAI ve Deepmind gibi büyük araştırma laboratuvarlarının kullandığı yapıya benzer; ancak genellikle daha küçük kümeler ve uzun vadeli sözleşmeleri olan startup'lar için daha erişilebilirdir.
- Hedef, ani ölçeklenebilen tahsis ve kısa vadeli sözleşmelerle H100 GPU başına yaklaşık saatlik $2.00 hesaplama kaynağı sunmaktır.
- Startup'lar bir form doldurarak veya organizatörlerle iletişime geçerek gruba katılabilir.
- Startup'lar önceden bildirim süresine uyarak kümeden ayrılabilir ve yeni startup'lar toplu halde eklenebilir.
- Grup, küçük deneyler ya da iyi fiyatla arkadaşların taleplerini karşılamak için bir miktar fazla kapasite sağlayabilir.
- Küme satın alımının finansmanı bankaların desteğiyle dağıtılabilir.
- Grup, 4-6 hafta içinde 512 H100 GPU'yu devreye almayı planlıyor; talep yüksek olursa buna ek olarak daha fazla kaynak da eklenebilir.
- Altyapı hata ayıklama e-posta listesi ve Slack grubu, üyelerin altyapı sorunlarıyla ilgili yardım isteyebileceği alanlar olarak sunuluyor.
1 yorum
Hacker News görüşleri