‘GPU kıtlığı’ sonsuza dek sürsün — Açık kaynak yapay zeka hibesi

 (a16z.com)
1 puan yazan GN⁺ 2023-09-01 | 1 yorum | WhatsApp'ta paylaş
  • a16z, açık kaynak yapay zekayı yapay zeka ekosisteminin temel altyapısı olarak görüyor ve geliştiriciler arasındaki kaynak açığını azaltmak için Open Source AI Grant’i başlattı
  • Kapalı modellere rakip olan açık kaynak modellerin sayısı artarken, bireylerin ve küçük ekiplerin yaptığı fine-tuning ve optimizasyon çalışmaları modellerin kullanılabilirliğini artırıyor
  • Destek kapsamına instruction-tuning, sansürsüz LLM’ler, yerel çalıştırma için quantization, çıkarım araçları ve LLM güvenlik araştırmaları gibi teknik sınırları genişleten projeler giriyor
  • Açık kaynak yapay zekada model boyutu büyüdükçe fine-tuning için de çok miktarda GPU hesaplama kaynağı gerekiyor; bu da kaynak yükünü geleneksel altyapı projelerine göre daha ağır hale getiriyor
  • Bu hibe bir yatırım veya SAFE note değildir; destek alanlar finansal getiri baskısı olmadan açık kaynak çalışmalarını sürdürebilir

a16z Open Source AI Grant’i duyurdu

  • a16z, Open Source AI Grant program ile az sayıda açık kaynak geliştiriciyi hibe şeklinde destekliyor
  • Destek, yatırım veya SAFE note değildir; geliştiricilerin finansal getiri üretme baskısı olmadan çalışmalarına devam etmesini sağlayan bir yapıya sahiptir
  • a16z, gelişen bir açık kaynak ekosisteminin yapay zekanın geleceğini inşa etmek için vazgeçilmez olduğunu düşünüyor

Kapalı modellerle rekabet eden açık kaynak yapay zeka

  • Açık kaynak ekosisteminde, kapalı alternatiflerle rekabet eden açık kaynak modeller ortaya çıkıyor
  • Yüzlerce küçük ekip ve birey, modelleri daha kullanışlı, erişilebilir ve yüksek performanslı hale getirmek için çalışıyor
  • Bu projeler açık kaynak yapay zekanın teknik seviyesini yükseltiyor ve teknolojiye dair daha sağlam ve kapsayıcı bir anlayış geliştirilmesine yardımcı oluyor

GPU kaynakları neden darboğaz oluyor?

  • Projeleri geliştiren kişiler çoğu zaman işi sonuna kadar götürecek veya uzun vadede sürdürecek kaynaklardan yoksun kalıyor
  • Yapay zeka projelerinde kaynak sorunu, geleneksel altyapıya kıyasla daha belirgin hale geliyor
    • Model fine-tuning’i için de ciddi GPU hesaplama kaynağı gerekiyor
    • Açık kaynak model büyüdükçe gerekli kaynaklar da artıyor

Hibenin odaklandığı çalışma alanları

  • Destek kapsamı, açık kaynak yapay zeka modellerinin ve araçlarının pratik kullanımını artıran çeşitli çalışmaları içeriyor
    • Temel LLM’ler için instruction-tuning
    • Sansürsüz LLM fine-tuning’i
    • Modelleri düşük güçlü makinelerde çalıştırmaya yönelik optimizasyon
    • Model çıkarımı için yeni araçlar geliştirme
    • LLM güvenlik sorunları üzerine araştırma
    • Açık kaynak yapay zeka ile ilgili diğer çalışmalar

İlk hibe alanlar ve projeleri

İlgili okumalar

1 yorum

 
GN⁺ 2023-09-01
Hacker News yorumları

  • AI grant alanlardan biriyim ve fast.ai’de yaptığım işin desteklenmesini sağladığı için a16z’ye çok minnettarım
    Benim grant’im Lambda Labs’ten bir Scalar sunucu satın almak için kullanıldı; önceki nesil 8 adet A6000 GPU ile yapılandırabildik
    Bunda NVIDIA’nın yakın zamanda bunlardan 3 tanesini sağlamasının ve Lambda Labs’in de maliyetine vermesinin payı var
    a16z, bu grant’i sağladığını duyurmak dışında hiçbir hisse ya da karşılık talep etmedi; süreç de çok sorunsuzdu
    Neredeyse hiç form yoktu, yalnızca tek sayfalık bir sözleşme imzaladık; sözleşme açık ve adildi, a16z’nin herhangi bir hak almadığını belirtiyordu ve sunucu satın alma bedelini de hemen havale ettiler

    • Burada sözü edilen önceki nesil A6000 GPU, “RTX A6000” ile “RTX 6000 Ada Generation” arasındaki ayrımı ifade ediyor
      İlki Ampere mimarisine sahip ve GeForce 30 serisine karşılık geliyor; ikincisi ise Ada mimarisine sahip ve GeForce 40 serisine karşılık geliyor
      Nvidia, teknik nesil adlarını USB Implementers Forum kadar kötü koyabileceğine ikna olmuş görünüyor
    • a16z’nin, grant’i sağladığını duyurmak dışında hisse ya da karşılık istememesi ve sözleşmede hiçbir hak almadığını belirtmesi oldukça cömert bir yaklaşım ve dürüst bir işletme olduğuna dair güçlü bir işaret gibi görünüyor
    • Desteğin ihtiyaç duyulan yere, bunu takdir edecek kişiye, hiçbir koşul olmadan ulaştığını görmek gerçekten sevindirici
      Keşke böyle şeyler daha çok olsa; jph00’nun çalışmalarında bol şans diliyorum

  • HN topluluğu, bu yeni inisiyatifi duyurmaktan büyük mutluluk duyuyorum
    Bu program, ticari bir şirket kurma peşinde olmayan bireyleri, ekipleri ve hacker’ları desteklemek için tasarlandı
    Buna rağmen bu projeler açık kaynak AI alanının sınırlarını ileri taşıyor ve teknolojinin nasıl geliştiğine dair daha sağlam ve kapsayıcı bir anlayış oluşturmaya yardımcı oluyor
    Küçük de olsa katkıda bulunmaktan gurur duyuyorum; ilk cohort’a ve bu alana katkı veren herkese teşekkürler

    • Bence iyi bir proje
      Bireylerin farklı eğitim verisi fikirleriyle bu alana katkıda bulunabilmesi için önce kendilerini kanıtlayıp ilgi çekmeleri mi gerekiyor, yoksa teklif sunmanın bir yolu var mı merak ediyorum
      Benim durumumda hesaplama maliyetleri epey yüksek; kavram kanıtı için birkaç testi karşılayabilirim ama daha fazlası zor ve tek bir 4090 ile llama70b’yi 1it/s’den hızlı çalıştıramıyorum
    • GPU’ları nereden sağladıklarını merak ediyorum

  • Listede oobabooga’yı görmek beni çok sevindirdi
    Herkes farklı biçimlerde katkıda bulunuyor ve ooba, çeşitli modelleri denemek için harika bir portal görevi görüyor
    README’de de metin üretimi alanının automatic 1111’i olmak istediği yazıyor
    Benim gibi yeni başlayanlar için bu yeni dünyayı keşfetmede ooba iyi bir giriş noktası

  • Mevcut grant alıcılarına bakınca onları tebrik etmek istiyorum
    Hepsi etkisi büyük bireyler ya da ekipler ve yeterince araştırılıp paranın gitmesi gereken yere konduğunu gösteriyor

  • Acemi sorusu: 25.000 dolar varsa birkaç GPU alıp “GPU Poor” olanları desteklemeye katkıda bulunabilir miyim?
    Böyle bir şeyi kendin kurmak için bir DIY rehberi var mı merak ediyorum
    Nakit bağışlamak istemekten ziyade birkaç GPU’yu bir şekilde kurup insanların maliyetine kullanmasını sağlamak istiyorum

    • 25K, sunucu kiralamaya yetecek para eder ya da kabaca toplayarak 8x4090 makine benzeri bir şey yapılabilir
      Çoğu kişinin çalıştırmak istediği 8xA100, 8xH100 sunucular 200 bin doların üzerinde ve paranız olsa bile şu anda bulmak çok zor olabilir
    • vast.ai kullanarak böyle bir sunum yapmaya başlayabilirsiniz; barındırma dokümantasyonu da epey var: https://vast.ai/docs/hosting/hosting
      Belirli bir kullanıcı grubuyla sınırlayamayabilirsiniz ama vast.ai kullananlar büyük şirketlerden çok küçük şirketler, bireyler ve araştırmacılar olacağı için fiilen “GPU Poor” kesime yardımcı olmuş olursunuz
    • O bütçeyle satın almak yerine spot/kiralık instance kullanmanızı açıkçası tavsiye ederim
      A100 saat başı yaklaşık 2 dolar civarında; zor olan kısım büyük kota elde etmek
      Eğitim işleri zaten oldukça dalgalı olur; büyük tek bir çalıştırmadan önce çok sayıda küçük deney yapmak yaygındır
    • Kötü niyet yakıştırmak istemem ama bu, kaynak bağışlamaktan çok bir condo satın alıp kirayla krediyi ödemeye benzemiyor mu?
    • Konumun Doğu Yakası, New York olduğunu varsayıyorum

  • Bu gerçekten harika
    Listede kullandığım birçok aracı görmek ve maddi destek aldıklarını görmek güzel
    Umarım Ollama da yakında listeye girer
    Denemek istediğim ilginç bir fikir var; muhtemelen birkaç saat 8X A100 ve EvolveInstruct tarzı veri gerektireceğinden 1.000 dolardan fazlaya mal olur
    Grant #2’ye katılıp katılamayacağımı görmek için kodu hazırlamaya çalışacağım

    • Güzel, MVP’nin iyi gitmesini dilerim
      Yorum için de gerçekten teşekkürler; Ollama tarafındaki insanlarla da görüşüyoruz

  • İnsanların bağımlı olduğu başka hangi açık kaynak LLM projeleri var?
    Gelecekteki grant alıcıları için fikir arıyorum
    Güzel bir inisiyatif ve ilk seçim de harika; yönetim ücretlerini çok iyi kullanma biçimi
    Ek adaylar düşünmeye çalışınca zorlanıyorum; çünkü TheBloke, vLLM, oobabooga gibi benim önerebileceğim yerler zaten dahil edilmiş
    Gelecekteki alıcı adayları olarak aklıma MLC LLM, ExLlama, text-generation-inference’ın açık kaynak fork’u ve AutoGPTQ geliyor

    • Harika öneriler, teşekkürler

  • İlgili herkesi tebrik ederim
    Bunun bir ölçüde branding/marketing motivasyonu taşıdığını bilsem de a16z’nin son yıllardaki crypto ya da yüzeysel medya üretiminden çok gerçek sorunları çözmeye yöneldiğini görmek güzel
    Umarım böyle devam ederler ve daha fazla “thought leader” ile risk sermayesi şirketi de onları izler

    • Hayır, hâlâ dünyayı kurtarıyorlar
      Sadece artık crypto ile değil, AI ile kurtarıyorlar
      https://a16z.com/2023/06/06/ai-will-save-the-world/
    • Bu inisiyatifin gerçek sorunları çözmeye yardımcı olduğuna katılıyorum
      Ancak “Crypto”yu savunmaya çalışmıyorum ama gerçek sorun çözme ölçütünün epey öznel olduğunu düşünüyorum
      Örneğin birçok kişi ve şirket için reklam tıklama oranını artırmak ve crypto/gas ücretlerini düşürmek de gerçek bir sorun ve ihtiyaç olabilir; sadece o sorun benim için önemli olmayabilir

  • Şaşırtıcı
    İlk seçim gerçekten sağlam ve kendiliğinden oluşan organik deneylerin büyük bir kısmı doğrudan bunlara dayanıyor

  • “Eric Hartford: sansürsüz LLM fine-tuning”in yürütülmesi beni çok mutlu ediyor
    LLM’ler çok değerli araçlar olacak; böyle araçlara sansürün gömülü olması ise oldukça tedirgin edici
    Güvenlik ve etik adına Word’ün “kötü kelimeler” yazmanızı engellediği bir durumu hayal edin