- Google, 7. nesil Tensor Processing Unit (TPU) olan Ironwood'u duyurdu
- Ironwood, yapay zeka çıkarımı için özel olarak tasarlanan ilk TPU ve şimdiye kadarki en güçlü ve enerji verimli model
- Büyük dil modeli (LLM) ve Mixture of Experts (MoE) gibi yüksek performanslı yapay zeka modellerini çalıştırmak için tasarlandı
- En fazla 9.216 çipe kadar ölçeklenebiliyor ve 42,5 exaflops işlem performansı sunuyor
- Bu, dünyanın en hızlı süper bilgisayarı El Capitan'dan 24 kattan fazla performans anlamına geliyor
Ironwood ile mümkün olan çıkarım çağı
- Önceki yapay zeka sistemleri kullanıcı isteklerine yanıt verme biçiminde çalışırken, Ironwood verileri aktif olarak yorumlayan ve içgörü üreten yapay zeka çağı için temel sağlıyor
- Bu çıkarım çağında yapay zeka, kullanıcı adına veri toplayıp analiz ederek daha derin sonuçlar üretiyor
- Ironwood, bu yeni yapay zeka gereksinimlerini karşılamak için büyük ölçekli paralel işleme ve yüksek hızlı veri erişimi yetenekleriyle geliyor
Ironwood'un donanım yapısı ve performansı
- 9.216 çipten oluşan bir TPU podu kurulduğunda, 42,5 exaflops performans sunuyor
- Çip başına 4.614 TFLOPs performansla büyük ölçekli LLM ve MoE modellerinin eğitimi ile çıkarımını destekliyor
- Geliştirilmiş SparseCore özelliği, devasa embedding işlemlerini hızlandırıyor ve finans, bilim gibi çeşitli alanlara uygulanabiliyor
- Pathways yazılımı üzerinden on binlerce Ironwood çipi verimli biçimde yönetilebiliyor
Ironwood'un başlıca teknik özellikleri
- Performans / güç verimliliği oranı önceki nesle göre 2 kat iyileştirildi
- Trillium'a kıyasla yaklaşık 30 kat daha yüksek güç verimliliği
- Yüksek performanslı sıvı soğutma teknolojisi sayesinde sürekli yüksek yük altında da kararlı performans korunuyor
- Yüksek bant genişlikli bellek (HBM) kapasitesi büyük ölçüde artırıldı
- Çip başına 192 GB, Trillium'a göre 6 kat artış
- Büyük modeller ve veri kümelerini işlemek için avantaj sağlıyor
- HBM bellek bant genişliği artırıldı
- Çip başına 7,2 TBps, Trillium'a göre 4,5 kat artış
- Inter-Chip Interconnect (ICI) bant genişliği iyileştirildi
- 1,2 Tbps çift yönlü, Trillium'a göre 1,5 kat artış
- Çipler arası hızlı iletişim sayesinde büyük ölçekli dağıtık eğitim ve çıkarım için uygun
Ironwood'un etkisi ve kullanım potansiyeli
- Ironwood, Google Cloud Hypercomputer mimarisinin temel bileşenlerinden biri olarak yeni nesil üretken yapay zeka ihtiyaçları için optimize edildi
- Gemini 2.5 ve AlphaFold gibi en yeni yapay zeka modelleri de TPU tabanında çalışıyor
- Google Cloud müşterileri Ironwood sayesinde yapay zeka iş yüklerini yüksek performans, düşük gecikme ve artırılmış enerji verimliliği ile çalıştırabilecek
- 2025 içinde müşterilerin kullanımına sunulması planlanıyor ve yapay zeka araştırmaları ile gerçek dünya uygulamalarında yeni inovasyonların temelini atması bekleniyor
1 yorum
Demek ki son zamanlarda Gemini'nin ilk token'a ulaşma süresi ezici biçimde hızlı diye düşünmemizin bir sebebi varmış...