Tenstorrent ve AI donanımı girişimlerinin durumu

• Tenstorrent'un güçlü yönleri
  • RISC-V tabanlı yüksek performanslı CPU'lar ve AI çekirdekleri geliştirerek AI donanımı alanında özgün bir yaklaşım sergiliyor
  • Tüm yazılım yığınını ve geliştirici araçlarını açık kaynak olarak yayımlayarak geliştirici dostu bir ekosistem kuruyor
  • Fiyat rekabetçiliği sunan Samsung Foundry SF4X sürecini kullanarak farklılaşmış AI yonga setleri üretebiliyor
• Zayıf yönler ve endişeler
  • AI donanımı pazarında Nvidia'nın güçlü hakimiyeti
  • GPU merkezli rakiplerle karşılaştırıldığında, Tenstorrent'un göreli zayıflığı hâlâ yüksek latency sorunu
• Pazardaki konumu
  • Tenstorrent, AI donanımı ve RISC-V IP potansiyeliyle Nvidia, AMD ve ARM'den farklılaşan bir değer sunuyor
  • Inference (çıkarım) odaklı stratejisi, pazarda başarılı olma ihtimalini artırıyor

Tenstorrent'un teknik genel görünümü

• Grendel (3. nesil AI yonga seti) başlıca özellikleri
  • Chiplet mimarisi kullanımı: yüksek performanslı RISC-V CPU çekirdekleri ile AI çekirdeklerini ayırıyor
  • Çekirdekler arasında verimli veri hareketi için mesh topolojisi tasarımı
• Çekirdek yapısı
  • Büyük RISC-V çekirdekleri: Linux çalıştırabiliyor, genel amaçlı kod işleme için
  • Baby RISC-V çekirdekleri: veri taşıma ve kernel çalıştırma için kullanılan ultra küçük çekirdekler. 752 çekirdek toplam die alanının %1'inden azını kaplıyor
  • Tensix çekirdekleri: vektör ve matris işlemlerine adanmış AI hesaplama birimi. Her Tensix çekirdeğinde kernel yürütmesini 5 Baby RISC-V çekirdeği yönetiyor
• Derleyici
  • GCC tabanlı özelleştirilmiş bir derleyici kullanılıyor. Kullanıcının yalnızca tek bir kernel yazması yeterli; geri kalanını GCC otomatik olarak işliyor

AI donanımı girişimlerinin karşılaştığı zorluklar

1. Eğitim (Training) pazarındaki rekabet
   • Nvidia'nın H100 GPU'su pazara hakim
   • Amazon, Google gibi büyük bulut şirketleri, yarı iletken tasarım ortaklarıyla çalışarak kendi çiplerini üretiyor
2. Çıkarım (Inference) pazarındaki fırsat
   • Maliyet ve performans açısından Nvidia ile rekabet etme ihtimali var
   • Samsung süreci ve HBM kullanılmaması nedeniyle fiyat avantajı
3. Müşteri kazanımı
   • Küçük şirketler veya girişimlere yönelik çıkarım odaklı donanım pazarı ana hedef

Tenstorrent'un yazılım stratejisi

• Yazılım yığınının 6. sürümü
  • ML modellerinden düşük seviyeli kernel'lere kadar farklı geliştirici ve kullanıcılara uygun erişilebilirlik sunuyor
  • Discord topluluğuyla iş birliği yaparak yenilikçi kernel'ler geliştiriyor
• Geçmişteki sorunların çözümü
  • Önceden her donanım için yazılım yığınının yeniden kurulması gerekiyordu
  • Artık donanımdan bağımsız çalışan birleşik bir yazılım yığını geliştiriliyor

Teknik tartışma ve sonuç

• Tenstorrent'un felsefesi
  • "AI'nin geleceği saf doğrusal cebir işlemleri değil, karma iş yükleridir"
  • CPU ile AI çekirdeklerinin entegrasyonunun gerekliliğini vurguluyor
• Jim Keller'in vizyonu
  • Gelecekteki AI iş yükleri CPU entegrasyonu gerektirirse, buna hazır tek satıcı Tenstorrent olacak
• Pazar görünümü
  • AI eğitim pazarında Nvidia'nın tekel benzeri konumu nedeniyle girişimler için neredeyse hiç fırsat yok
  • Çıkarım pazarında yenilikçi yaklaşımla başarı şansı bulunuyor
  • 2. nesil Blackhole ve 3. nesil Grendel'in performansı gelecekte önemli değerlendirme ölçütleri olacak

Yatırım ve şirket değeri

• Tenstorrent'un mevcut değerlemesi
  • Son Series D turunda 2 milyar dolar değerleme aldı
  • RISC-V IP pazarında ARM'in fiyat artışlarıyla bağlantılı fırsatları yakalıyor
• Rakiplerle karşılaştırma
  • Cerebras gibi diğer AI donanımı girişimlerine kıyasla teknoloji gücü ve pazar uyumu daha iyi
  • Nvidia karşısında CUDA ekosistemindeki rekabet gücü zayıf
• Gelecek stratejisi
  • Çıkarım pazarına odaklanarak rekabetçiliğini korumak
  • Geliştirici ekosistemi ve açık kaynak merkezli felsefesini sürdürmek

Sonuç

• Tenstorrent, AI donanımı ve RISC-V CPU tasarımında özgün bir yaklaşım benimseyerek Nvidia ve ARM'in hakim olduğu pazarda önemli farklılaştırıcı unsurlar sunuyor
• Çıkarım pazarında büyüme potansiyeli yüksek ve AI girişimleri arasında yatırım değeri yüksek bir şirket olarak değerlendiriliyor.

[GN⁺]

Hacker News görüşleri

• Yüksek performanslı bilişim kiralama işi yürütüyorum ve herkesin kolayca erişebilmesi için bilişimi demokratikleştirmek istiyorum. Nvidia'nın baskın konumu nedeniyle diğer donanımlara ilginin az olduğunu hissediyorum. Bu tür hizmetlere ilgi ve talebin artmasını umuyorum.
  • ARM lisans ücretlerini ve telifleri artırırken, RISC-V CPU IP'nin geleceğinin parlak olduğunu düşünüyorum. Sözleşmeleri bozan şirketlerin artması endişe verici.
  • Bu, AI donanımından çok geleneksel yüksek performanslı bilişimin küçültülmüş bir versiyonu ve AI çılgınlığından bağımsız olarak çeşitli işler için faydalı olacaktır.
  • Tenstorrent, AI'ın geleceğinin karma iş yüklerinde olduğuna inanıyor. CPU iş yüklerine ihtiyaç duyulacak ve şu ana kadar büyük bir değişim olmadı.
  • Groq'un dolandırıcılık olasılığından bahsediyor ve Llama 3.1 405B'nin junior mühendislerin yerini alabileceğini iddia ediyor.
  • ARM-Qualcomm anlaşmazlığını neredeyse unutmuştum; yakında büyük bir değişim olacak.
  • AMD ve NVIDIA'nın veri merkezi ve süper bilişim pazarına daha agresif girmesini isterdim. Mevcut durumu spor takımı taraftarlığına benzetiyorum.
  • Tenstorrent ekibinin açık tartışma tavrısını övüyor ve daha fazla şirketin böyle olmasını diliyor.
  • Llama'nın kıdemli mühendisler için faydalı olduğu, ancak junior mühendislerin öğrenmesini engelleyebileceği yönünde endişeler var. Junior mühendislerin etkili şekilde öğrenip anlayabilmesi için yöntemler düşünülmeli.
  • Llama 3.1 405B'nin junior mühendislerin yerini alabileceği iddiasıyla alay ediyor.