Apple, Arm Mac'lerde Nvidia eGPU kullanımına izin veren sürücüyü onayladı

• Bu sürücü Nvidia değil Tiny Corp tarafından geliştirildi ve Apple'ın imza onayı sayesinde System Integrity Protection (SIP) devre dışı bırakılmadan kullanılabiliyor
• Sürücü Docker üzerinden doğrudan derlenmek zorunda ve tipik bir tak-çalıştır çözümü değil
• Tiny Corp belgelerine göre bu sürücü, büyük dil modellerini (LLM) çalıştırmak amacıyla tasarlandı
• Tiny Corp, "Apple hem AMD hem de Nvidia için sürücüleri onayladı" dedi
• Bununla birlikte Arm Mac kullanıcıları için harici GPU (eGPU) kullanma olasılığı da doğdu
• Apple'ın harici geliştiricilerin GPU sürücülerini imzalamasına izin vermesi son derece nadir bir durum olarak değerlendiriliyor
• Geçmişte, SIP devre dışı bırakılmadan resmi olmayan sürücülerin kurulması mümkün değildi
• Bu onayla birlikte Mac donanımının genişletilebilirliği ve yapay zeka·makine öğrenimi iş yüklerini kullanma kapasitesi daha da güçleniyor

[GN⁺]

Hacker News yorumları

• Teknik olarak güzel bir proje, ancak pratikte durumların %90'ında neredeyse faydasız
  NVidia GPU ile LLM çalıştırmak istiyorsan ikinci el bir PC almak daha mantıklı, yüksek VRAM’li bir Mac istiyorsan da doğrudan Mac almak yeterli
  Önerilen yöntem Thunderbolt portu nedeniyle GPU’yu kısıtlıyor ve NVidia’nın araç ve kütüphanelerine erişim de zayıf kalıyor
  Buna karşılık macOS güncellemeleriyle bozulma riski olan kusurlu bir sistem ortaya çıkıyor

  • Başka bir yöntem olarak, aynı LAN içindeki başka bir makinede bulunan NVidia GPU’yu ağ üzerinden mount etmek mümkün
    Böylece Thunderbolt bant genişliği sınırı olmaz ve CUDA çağrılarını aynen kullanabilirsin
    Ancak aynı LAN’da olmak gerekiyor ve yaklaşık %4 ek yük var
    Seyahatte kullanmak zor ve macOS sürücü sorunu da hâlâ çözülmüş olmuyor
    Ben GPU Go’da çalışıyorum, bu yüzden bu yaklaşıma karşı önyargılı olabilirim
  • NVidia tarafındaki araç eksikliği, bugüne kadar macOS’ta donanımın kullanılamamasından büyük ölçüde kaynaklanıyordu
    Artık mümkün olduğuna göre ileride durum değişebilir
  • eGPU’yu sanal GPU sanmıştım, ama aslında harici GPU anlamına geliyor

• Neden doğrudan orijinal yerine proxy link kullanıldığını anlamıyorum
  Asıl kaynak X üzerindeki tinygrad hesabı

  • Muhtemelen giriş duvarı yüzündendir. X artık “yorumları görmek için üye olmalısın” gibi kısıtlamalarla dolu ve site kalitesi düştü
  • Artık çoğu zaman orijinal kaynak zaten X olmuyor mu?

• Anladığım kadarıyla bu sadece Tinygrad’e özel çalışıyor
  PyTorch’ta CUDA ya da Vulkan kullanmak mümkün değil
  İlgili belgeler TinyGPU dokümanında var

• Apple 2018’den beri NVidia eGPU sürücülerini imzalamayı reddediyor, bununla nasıl düzenleyici incelemeden kaçtığını bilmiyorum

  • NVidia’nın gerçekten denediğine dair kanıt olup olmadığını merak ediyorum
    macOS 10.13’ten sonra üçüncü taraf grafik sürücülerine izin verilmiyordu, ama grafik dışı sürücüler yine de mümkün olmuş olabilir
  • Belki de devlet umursamıyordur
    NVidia GPU takılabilecek Mac neredeyse yoktu, şimdi ise hiç slot yok
  • Apple hiçbir pazarda tekel konumunda değil
  • Bu, Google’ın Windows Phone için YouTube istemcisini engellemesine benzer bir durum
  • Sadece SIP’i devre dışı bırakmak yetmiyor mu?

• Rehberi ve scriptleri okuyunca yapı sanki GPU’nun Linux VM’e aktarıldıktan sonra tekrar Mac’e döndürülmesi gibi görünüyor
  TinyGrad ekibi sanki bu yöntem için onay almış gibi duruyor
  Docker’ın rolünü yanlış anlamış da olabilirim

  • TinyGPU dokümanı ve GitHub koduna bakınca
    NVidia GPU, Docker üzerinden derleme hedefini eşleştirmek için kullanılıyor; AMD ise macOS üzerinde kendi LLVM’ini derleyip kullanıyor

• Hem Apple hem NVidia kapalı tutumları yüzünden iyi bir sonucu kaçırıyor
  Mac donanımında NVidia’yı Linux ile çalıştırabilmek çok daha iyi olurdu
  Ürünü satın aldıktan sonra bile kontrolü kaybeden tüketiciler oluyoruz

  • Bu yüzden ben Apple ürünleri satın almıyorum
    O ekosistemin dışında da her şey gayet iyi çalışıyor

• ARM dizüstü kullanırken GPU’yu uzakta tutan kullanıcıların sayısı artıyor
  Bu yüzden GPU’nun yerel iş akışını takip edebildiği bir UX önemli hâle geliyor
  Biz GPUGo / TensorFusion’da yerel öncelikli geliştirme akışı ile uzaktan GPU erişimini birleştiren yöntemleri araştırıyoruz
  İnsanların gerçekten eGPU gibi hissettiren bir şey mi istediğini, yoksa en az sürtünmeyle uzaktan hesaplama mı kullanmak istediğini merak ediyorum

  • Ama GPU’dan görüntü çıktısı alırken ağ gecikmesi 100 ms bile olsa sorun olur

• Seyahatteyim ama evde bir RTX 5090 var, bunu bununla test etmek istiyorum
  TinyGPU dokümanına bakıyorum, M4 Mac Mini’de çalışmasını umuyorum
  Güç sağlamak için bir ATX PSU gerekecek gibi görünüyor; peki tinygrad ile LLM çıkarımı yapılabilir mi?

  • AliExpress’te yaklaşık 100 dolara bir GPU enclosure alabiliyorsun
    Standart PSU kullanıyor ama Mac Mini’de occulink olmadığı için USB-C bant genişliğiyle sınırlısın
    Intel Arc sürücüleri oturursa düşük maliyetli GPU kombinasyonları da ilginç olabilir
    Intel Arc Pro B70 (32GB VRAM) 1000 dolar, Mac Mini ise yaklaşık 500 dolar
  • GPU’nun hızlı VRAM’inin, Mac’in yavaş VRAM’ini ne kadar telafi edebileceğinden emin değilim
    Bağlantı hızı yeterli değilse katman geçişi darboğaz olabilir
  • Ben de 5090’ı kutusundan bile çıkarmadan beklettim ve sonunda iade ettim
    Param var ama kullanacak zamanım yok; ironik bir durum

• İlginç, ama CUDA ya da nvidia-smi çalıştırılamıyor

  • Yine de bunun NVidia değil de başka bir şirketin ML kütüphaneleri tabanlı olması düşünüldüğünde şaşırtıcı değil
    Bir CUDA uyumluluk katmanı olsa güzel olurdu, ama kendi kütüphaneleriyle çıkarım ve eğitimin çalışması da oldukça etkileyici

• Eğer Mac’te NVidia sürücü desteği olsaydı Mac Pro satışları artardı

  • Apple ile NVidia’nın resmî ilişkiyi yeniden kurması büyük bir olay
    Son 10 yılı aşkın süredir Apple, NVidia GPU sürücülerine izin vermiyordu
    7 yıllık GPU’lar bile (ör. VEGA64, RTX1080Ti) çoğu Apple Silicon’dan token işleme hızında daha hızlı
    Apple’ın MAX/Ultra işlemcileri büyük modeller için uygun, ama RTX5090 kadar hızlı değiller