LibreCuda - Tescilli çalışma zamanı olmadan Nvidia GPU'da CUDA kodu çalıştırma

 (github.com/mikex86)
9 puan yazan GN⁺ 2024-08-09 | 1 yorum | WhatsApp'ta paylaş
  • CUDA sürücü API'sinin yerine geçerek, tescilli CUDA çalışma zamanına bağımlı olmadan Nvidia GPU'larda CUDA kodu çalıştırmayı hedefleyen bir proje
  • Donanımla doğrudan ioctl'ler (özellikle Nvidia'nın açık GPU çekirdek modüllerinde rmapi dediği şey) ve Nvidia'nın MMIO komut kuyruğu yapısı olan QMD üzerinden iletişim kuruyor
  • CUDA ELF ikililerini GPU'ya yükleyip komut kuyruğu üzerinden çalıştırabiliyor
  • Mevcut özellikler
    • GPU belleği ayırma ve serbest bırakma, ayrıca belleği CPU'nun erişebilmesi için eşleme
    • CUDA ELF ikililerini GPU'ya yükleyebilme
    • Komut kuyruğu üzerinden CUDA çekirdeği çalıştırma
  • MIT lisansı

GN⁺ özeti

  • LibreCUDA, tescilli CUDA çalışma zamanı olmadan Nvidia GPU'larda CUDA kodu çalıştırmayı mümkün kılan bir proje
  • Şu anda yalnızca temel işlevler uygulanmış durumda ve gerçek kullanım için hazır değil
  • Benzer işlevlere sahip projeler arasında, AMD GPU'larda CUDA benzeri yetenekler sunan ROCm bulunuyor

İlgili okumalar

1 yorum

 
GN⁺ 2024-08-09
Hacker News görüşleri

  • Open CUDA'nın amacı, NVIDIA GPU dışındaki GPU'larda da çalışabilmesini sağlamak

    • NVIDIA GPU satın almak gerekiyorsa bunun bir anlamı yok
    • Gerçek bir rekabet olsaydı, daha fazla VRAM'e sahip cihazları kolayca satın alabilirdik
    • Bir gün yerelde Llama 405b çalıştırabiliriz

  • CUDA konusundaki deneyimim sınırlı, ancak bunun çeşitli ML kütüphanelerini (ör. TensorFlow, ONNX) çalıştırırken ortaya çıkan CUDA/CUDNN bağımlılık sürümü sorunlarını çözmeye yardımcı olup olmayacağını merak ediyorum

  • Çok iyi

    • CUDA runtime'dan istediğim her şey bu
    • LLVM libc birim testlerini çalıştırabilir
    • Bu, aynı doğrudan sistem çağrısı yaklaşımını kullanan AMD kütüphanesini meşrulaştırabilir

  • CUDA'ya bağımlı projelerin, platform özgürlüğü kazanmak için LibreCUDA'dan HiP'e geçmesi ilk adım olmalı

  • CUDA ELF dosyasının ne olduğunu merak ediyorum

    • İkili SASS kodu mu, açık kaynaklı bir PTXAS alternatifine ihtiyaç olup olmadığını merak ediyorum

  • CUDA'ya yeni başlayan biri olarak bunun hangi sorunu çözdüğünü merak ediyorum

  • Sanırım buna CUDA Libre deme fırsatını kaçırmışlar

  • Hâlâ NVIDIA'nın sahipli grafik sürücüsünü çalıştırmak gerekip gerekmediğini, yoksa bunun tamamen bağımsız mı olduğunu merak ediyorum

  • Yazarların ticari marka ihlali bildirimini düşünmeye başlaması gerek

  • ZLUDA, AMD'nin talebiyle durdurulduktan sonra, CUDA bağımlılığını kırmak için genel amaçlı bir ZLUDA alternatifine ihtiyaç var

    • NVIDIA donanımına bağlı olmayan bir şeye ihtiyaç var