Jim Keller liderliğindeki Tenstorrent, GPU'lara karşı RISC-V tabanlı Grayskull'u tanıttı

• Tenstorrent, AMD'nin Zen mimarisini ve Tesla'nın otonom sürüş çiplerini tasarlayan ünlü çip tasarımcısı Jim Keller'ın liderlik ettiği bir şirket
• GPU'lara RISC-V tabanlı bir alternatif olan Grayskull'u piyasaya sürdü; programlaması ve ölçeklendirmesi kolay, ayrıca çalışma sırasında seyreklik ve koşullu hesaplamayı işlemede başarılı
• Grayskull e75 ve Grayskull e150 olmak üzere iki sürümden oluşan geliştirme kitlerini tanıttı. Yapay zeka geliştirme için çıkarım odaklı donanım sunuyor ve TT-Buda ile TT-Metalium yazılımlarını sağlıyor
• Tenstorrent, Japonya'nın önde gelen yarı iletken teknoloji merkezi LSTC ile ortaklık kurdu
• Tenstorrent'in RISC-V ve chiplet IP'si kullanılarak en ileri seviye 2nm yapay zeka hızlandırıcısı inşa edilmesi planlanıyor

Grayskull'un gücü!

• Grayskull e75 modeli, 75W'ta çalışan alçak profilli, yarım uzunlukta bir PCIe Gen 4 kart üzerinde tek bir Grayskull işlemci barındırıyor
• Grayskull e150 modeli, en fazla 200W'ta çalışan standart yükseklikte, 3/4 uzunlukta bir PCIe Gen 4 kart üzerinde Grayskull işlemci barındırıyor ve güç ile iş hacmi arasında dengeli bir yapı sunuyor

Tenstorrent işlemcileri ve DevKit'ler

• Tenstorrent işlemcileri, Tensix çekirdekleri adı verilen bir çekirdek ızgarasından oluşuyor ve DRAM üzerinden geçmeden ağ aracılığıyla birbirleriyle doğrudan iletişim kurabilen ağ iletişim donanımı içeriyor
• Grayskull DevKit'leri; doğal dil işleme için BERT, görüntü tanıma için ResNet, konuşma tanıma ve çeviri için Whisper, gerçek zamanlı nesne tespiti için YOLOv5 ve görüntü bölütleme için U-Net gibi çeşitli modelleri destekliyor
• Grayskull e75 ve e150 DevKit'leri sırasıyla 599 ve 799 dolar fiyatla satın alınabiliyor

GN⁺ görüşü

• Tenstorrent'in Grayskull'u, geleneksel GPU'lara karşı RISC-V tabanlı bir alternatif olarak yapay zeka geliştiricilerine yeni bir seçenek sunarak sektöre çeşitlilik katabilir
• Grayskull'un çalışma sırasında seyreklik ve koşullu hesaplamayı işlemeye özel olması, yapay zeka modellerinin verimliliğini ve performansını artırma potansiyeline sahip
• Bu teknoloji benimsenirken mevcut geliştirme ortamlarıyla uyumluluk, ekosistem desteği ve uzun vadeli performans ile maliyet verimliliği dikkate alınmalı
• Sektörde benzer yetenekler sunan diğer ürünler arasında NVIDIA'nın GPU'ları ve Google'ın TPU'ları bulunsa da Grayskull, RISC-V mimarisini temel almasıyla ayrışıyor
• Grayskull'un başarısı, açık kaynak donanım ekosisteminin büyümesini ve yeniliği teşvik edebilir; bu da teknolojinin demokratikleşmesine ve erişilebilirliğin artmasına katkı sağlayabilir

[ryudaewan]

Görünüşe göre Jim Keller He-Man hayranı. https://youtu.be/V8h8snfYidg?feature=shared

[GN⁺]

Hacker News görüşleri

• Grayskull geliştirme kiti özeti:

  • Grayskull e75: 75W güç tüketimi, 96 Tensix çekirdeği, 1GHz saat hızı, 96MB SRAM, 8GB LPDDR4 bellek (102.4 GB/s), fiyat $599
  • Grayskull e150: 200W güç tüketimi, 120 Tensix çekirdeği, 1.2GHz saat hızı, 120MB SRAM, 8GB LPDDR4 bellek (118.4 GB/s), fiyat $799
  • Bu ürünlerin çıkarım performansının ekran kartlarıyla kıyaslandığında nasıl olacağı ve ev laboratuvarı için uygun olup olmayacağı merak ediliyor.
  • Ürünlerin önizleme sürümüne ait bir kutu açılım röportajı var, ancak performans rakamları verilmiyor.

• Mimariye dair görüşler:

  • Jim Keller'ın dahil olması nedeniyle ilgi çekiyor, ancak CPU/ASIC tasarımı hakkında bilgisi olmayanlara mimari biraz "tuhaf" görünüyor.
  • Çekirdek ızgarası, bellek ve arayüzlerin iç içe geçmiş olması dikkat çekiyor; ağ ile bağlanan topoloji hakkında açıklama isteniyor.

• Mimarinin çalışma şekline dair açıklama:

  • Tensix çekirdekleri ve paylaşımlı bellekten oluşan temel bir sistem.
  • Her Tensix çekirdeği, tensör işlemleri yapan yüksek yoğunluklu tensor math unit (FPU), SIMD motoru (SFPU), 5 adet Risc-V CPU çekirdeği ve büyük yerel bellek deposu içeriyor.
  • Çekirdekler, iki zıt yönde hareket eden halka biçimli bir yapıyla bağlanıyor.
  • RISC-V çekirdekleri, FPU ve SFPU'yu kontrol etmek, ayrıca veriyi hazırlayıp taşımak için kullanılıyor.
  • SFPU, RISC-V çekirdekleri üzerinden çalıştırılabilen daha genel amaçlı bir SIMT motoru.
  • SFPU simülatörü GitHub'da denenebilir; programlama modeli düşük seviyeli kernel örneklerinde görülebilir.
  • Grayskull SFPU, 64 adet 19 bit değeri tutabilen 4 genel amaçlı LReg'e sahipken, Wormhole 32 adet 32 bit değeri tutabilen 8 genel amaçlı LReg'e sahip.
  • Wormhole SFPU, Grayskull'a kıyasla yaklaşık 3 kat IPC artışı ve birkaç yeni SFPU komutu sunuyor.
  • Belgeleri inceleyip GitHub deposuna bakarak daha fazla bilgi bulunabilir.

• Model seçimine dair soru işaretleri:

  • Neden BERT, ResNet, Whisper, YOLOv5, U-Net gibi modellerle başlandığı sorgulanıyor.
  • Hedefin güç verimliliği olduğu tahmin ediliyor, ancak bununla tamamen örtüşmüyor.

• Sistem gereksinimlerine dair soru:

  • Ana sistemde neden 64GB RAM gerektiği sorgulanıyor.
  • Bir çıkarım sunucusunun, çıkarım donanımı dışında asgari düzeyde bileşenle yetinmesi gerekmez mi diye soruluyor.

• Diğer şirketlerin özel silikonlarıyla karşılaştırma:

  • Bu tür işlemcilerin AWS, Google ve Tesla'nın özel silikonlarıyla nasıl karşılaştırılabileceği merak ediliyor.

• Mimarideki benzerlik:

  • Intel'in Project Larrabee GPU'sunun çalışmaya hedeflediği yapıya benzer olduğu düşünülüyor, ancak burada RISC-V kullanılıyor.

• Sadece çıkarıma yönelik çözümlere dair hayal kırıklığı:

  • Groq, Tenstorrent gibi umut vadeden girişimlerin yalnızca çıkarıma odaklanan çözümler sunmasından bıkkınlık dile getiriliyor.
  • Groq'nun resmî kanalı üzerinden, eğitimi mümkün kılacak geliştirmelere yatırım yapmayı planlamadıkları bilgisi edinilmiş.
  • Çıkarım talebinin eğitim talebinden milyonlarca kat fazla olabileceği için bu anlaşılır bulunsa da, yine de hayal kırıklığı yaratıyor.

• Grayskull™ e150'deki RISC-V çekirdek sayısı:

  • Grayskull™ e150, 120 Tensix çekirdeğine sahip ve her biri 5 RISC-V çekirdeği içerdiğinden toplam 600 RISC-V CPU çekirdeği barındırıyor.

• Performans ve mimari hakkında bilgi eksikliği:

  • Performans ya da mimariye dair ayrıntılı bilgi bulunamıyor.
  • ML odaklı bir cihaz için bellek bant genişliği çok düşük ve fiyat çok yüksek görünüyor.
  • Gözden kaçırılan noktanın ne olduğu sorgulanıyor.