Fısıltı: Nvidia RTX 4090 ile M1 Pro MLX karşılaştırması

 (owehrens.com)
2 puan yazan GN⁺ 2023-12-14 | 1 yorum | WhatsApp'ta paylaş

Apple MLX framework'ünün Nvidia RTX 4090'a karşı performans karşılaştırması

  • Apple, Apple Silicon için bir makine öğrenimi framework'ü yayınladı.
  • Bu framework'ün performansını benchmark etmek için Whisper örneği kullanıldı.
  • Python kodu üzerinden ses dosyaları üzerinde performans ölçümü yapıldı.

Sonuçlar

  • 10 dakikalık bir ses dosyasını işlemek için M1 Pro 216 saniye, Nvidia 4090 ise 186 saniye harcıyor.
  • Nvidia için optimize edilmiş model kullanıldığında işlem 8 saniyede tamamlanabiliyor.
  • Macbook ve PC'nin donanım özellikleri ayrıntılı olarak veriliyor.

Şaşırtıcı derecede hızlı Whisper

  • HackerNews'te gündem olan bir yazıda, bir kullanıcının Nvidia 4090 ile işlemi 8 saniyede tamamladığı örnek paylaşılıyor.
  • Deney macOS üzerinde de yapıldı ve sonuçlar MLX sürümünden daha yavaş çıktı.

M2 Ultra / M3 Max güncellemesi

  • Aynı ses dosyası M2 Ultra ve M3 Max üzerinde işlendiğinde, M1'den çok daha hızlı sonuç veriyor ancak iki GPU arasında benzer hızlar görülüyor.

Karşılaştırma

  • Çeşitli etkenler nedeniyle tamamen kesin olmasa da kabaca bir performans karşılaştırması yapmak mümkün.

Güç tüketimi

  • PC ile Macbook arasındaki güç tüketimi farkı ölçülüyor.
  • Nvidia 4090 çalışırken ve boştayken PC'nin güç tüketimi arasındaki fark 242W, M1 GPU çekirdekleri çalışırken ve boştayken Macbook'un güç tüketimi arasındaki fark ise 38W.

Bu test neden yapılıyor?

  • https://podpodgogo.com üzerinde bir podcast arama motoru işletiliyor; binlerce bölümün dökümü çıkarılıyor, böylece tam metin arama ve veri madenciliği yapılabiliyor.

GN⁺ görüşü:

  • Bu yazıdaki en önemli nokta, Apple Silicon için geliştirilen makine öğrenimi framework'ünün performansının Nvidia'nın en yeni tüketici grafik kartıyla karşılaştırıldığında rekabetçi olması.
  • Özellikle bu performansın bir dizüstü bilgisayarda elde edilebilmesi çok ilgi çekici; bu da makine öğrenimi iş yüklerinde taşınabilirlik ile performans arasında denge arayan kullanıcılar için cazip bir seçenek olabilir.
  • Güç tüketimi açısından da Macbook'un görece verimli olduğu vurgulanıyor; bu, çevresel sürdürülebilirlik ve maliyet verimliliğine önem veren kullanıcılar için önemli bir bilgi olabilir.

İlgili okumalar

1 yorum

 
GN⁺ 2023-12-14
Hacker News yorumu

  • OpenAI Whisper deposunun kullanıldığı görülüyor. Gerçek bir karşılaştırma için MLX'i 4090'da çalışan faster-whisper veya insanely-fast-whisper ile karşılaştırmak gerekir.

    • Gerçek kullanım senaryolarında, faster whisper'ın önceki segment metnini dahil ettiğinde kalitesinin daha iyi olduğunu fark ettim.
    • faster whisper, OpenAI/whisper'dan yaklaşık 4-5 kat daha hızlı ve insanely-fast-whisper da faster whisper'dan bir 3-4 kat daha hızlı.
    • 4090'da çalıştırılan Whisper çok yetersiz optimize edilmediyse, bu sonuçlar şüpheli görünüyor.

  • Apple MLX'in en son sürümünden yararlanılıyor ve Apple'a özel optimizasyonlar kullanan bir kod.

    • MLX'in Mac ve iOS için Swift binding'leri yayımlandığında ilgi göreceği tahmin ediliyor.
    • Şu anda C++20 derleme sorunları olabilir.

  • Whisper'ın sıralı yapısı ve tamsayı matematiği nedeniyle seçilip seçilmediği, bu sonuçların diğer modellere de uygulanıp uygulanamayacağı merak ediliyor.

    • MLX'te hâlâ optimize edilmemiş işlemler var.
    • CPU/GPU'ya doğrudan bağlı çok hızlı RAM'in avantajı ve bunun gecikme süresi/ortak erişilebilirlik açısından sağladığı etkiler düşünüldüğünde, rakamlar etkileyici.
    • M3 Max sisteminin maliyetinin 4090'ın yaklaşık 2 katı olduğunu hesaba katmakta fayda var.

  • Whisper'ı Mac M1'de çalıştırmak kolay, ancak varsayılan olarak MLX kullanmıyor.

    • MLX kullanacak şekilde ayarlamak için ne gerektiğini anlamaya çalışırken saatler harcadım.
    • GPU'lu bir VM kiralayıp Whisper'ı birkaç dakika içinde çalıştırmaya başladım.

  • X işi için en iyi seçimin ne olduğu konusunda çok tartışma olacaktır, ancak bunu düşük güç tüketiminde bu performans seviyesinde sunabilmesi cazip.

  • Apple'ın Vision Pro'su düşünüldüğünde, dizüstü bilgisayarda çok anlamlı olmayabilir ama çok güç tüketen bir headset için büyük bir avantaj.

  • İyi bir açık kaynak transkripsiyon ve konuşmacı tanıma uygulaması ya da iş akışı için yardım isteniyor.

    • Birkaçına baktım ama iyi çalışmıyorlar ve çöküyorlar.

  • Çoğu GPU'da 1 saatlik sesi 1 dakikadan kısa sürede transkribe edebilen Whisper türevi depoların kullanılması öneriliyor.