Transformers.js v3 yayınlandı

 (huggingface.co)
14 puan yazan xguru 2024-10-26 | 1 yorum | WhatsApp'ta paylaş
  • WebGPU desteği (WASM'den 100 kata kadar daha hızlı)
  • Yeni nicemleme formatları dtypes
  • 120 mimari desteği
  • 25 yeni örnek proje ve şablon
  • 1200'den fazla önceden dönüştürülmüş model
  • Node.js (ESM + CJS), Deno ve Bun uyumluluğu

WebGPU desteği

  • WebGPU, hızlandırılmış grafikler ve hesaplama için yeni bir web standardıdır
  • Geliştiricilerin tarayıcıdan doğrudan sistemin GPU'sunu kullanarak yüksek performanslı hesaplama yapmasını sağlar
  • WebGL'in halefi olarak, modern GPU'larla daha doğrudan etkileşim kurabildiği için performansı büyük ölçüde artırır
  • Ayrıca genel amaçlı GPU hesaplamayı desteklediğinden makine öğrenimi için uygundur
  • Ekim 2024 itibarıyla dünya genelinde WebGPU destek oranı yaklaşık %70 seviyesindedir
  • Tarayıcıya bağlı olarak WebGPU'yu etkinleştirmek için özellik bayrakları kullanmanız gerekebilir
  • Transformers.js v3'te WebGPU kullanımı
    • ONNX Runtime Web ile yapılan iş birliği sayesinde, model yüklerken yalnızca device: 'webgpu' ayarlayarak WebGPU hızlandırmasını etkinleştirebilirsiniz
    • Metin gömme hesaplama, konuşma tanıma, görüntü sınıflandırma gibi işler için WebGPU kullanılabilir

Yeni nicemleme formatları (dtypes)

  • Transformers.js v3 öncesinde, quantized seçeneğiyle quantized (q8) veya tam hassasiyetli (fp32) model varyantı seçilebiliyordu
  • Artık dtype parametresiyle çok daha geniş bir listeden seçim yapılabiliyor
  • Kullanılabilen nicemleme listesi modele göre değişir; ancak genel olarak tam hassasiyet ("fp32"), yarım hassasiyet ("fp16"), 8-bit ("q8", "int8", "uint8"), 4-bit ("q4", "bnb4", "q4f16") gibi seçenekler bulunur
  • Modül bazlı dtypes
    • Whisper veya Florence-2 gibi bazı encoder-decoder modelleri, özellikle encoder tarafındaki nicemleme ayarlarına çok duyarlıdır
    • Bu nedenle, modül adından dtype'a eşleme sağlayarak modül bazlı dtypes seçebilme özelliği eklendi

Desteklenen 120 mimari

  • Bu sürümle birlikte desteklenen toplam mimari sayısı 120'ye çıktı ve farklı giriş biçimleri ile görevleri kapsıyor
  • Dikkat çeken yeni mimariler arasında Phi-3, Gemma & Gemma 2, LLaVa, Moondream, Florence-2, MusicGen, Sapiens, Depth Pro, PyAnnote, RT-DETR ve diğerleri yer alıyor

25 örnek proje ve şablon

  • Bu sürümün bir parçası olarak, WebGPU desteğini öne çıkaran 25 yeni örnek proje ve şablon yayımlandı
  • Phi-3.5 WebGPU, Whisper WebGPU gibi demolar da buna dahil

1200'den fazla önceden dönüştürülmüş model

  • Sürüm itibarıyla topluluk, 1200'den fazla modeli Transformers.js ile uyumlu olacak şekilde dönüştürdü
  • Kendi modelinizi veya fine-tuning çıktılarınızı dönüştürmek için sağlanan dönüştürme betiklerini kullanabilirsiniz
  • Oluşturulan dosyaları Hugging Face Hub'a yükledikten sonra transformers.js etiketini eklerseniz, başkaları bunları kolayca bulup kullanabilir

Node.js (ESM + CJS), Deno ve Bun uyumluluğu

  • Transformers.js v3 artık en popüler üç sunucu tarafı JavaScript runtime'ı ile uyumlu
  • Node.js: Chrome'un V8'i üzerine kurulu, yaygın olarak kullanılan bir JavaScript runtime'ıdır; geniş kütüphane ve framework desteği sunar
  • Deno: JavaScript ve TypeScript için, varsayılan olarak güçlü güvenlik sunan modern bir runtime'dır; ES modüllerini kullanır ve deneysel WebGPU desteği de sağlar
  • Bun: Performans için optimize edilmiş hızlı bir JavaScript runtime'ıdır; yerleşik bundler, transpiler ve paket yöneticisi sağlar

NPM ve GitHub'da yeni yuva

  • Transformers.js artık NPM'de resmi Hugging Face organizasyonu altında @huggingface/transformers olarak yayımlanacak (@xenova/transformers yerine; bu ad v1 ve v2'de kullanılıyordu)
  • Depo, GitHub'daki resmi Hugging Face organizasyonuna (https://github.com/huggingface/transformers.js) taşındı ve burası yeni yuvası olacak

İlgili okumalar