Ethernet üzerinden Tesla Transport Protocol (TTPoE)

(github.com/teslamotors)

4 puan yazan GN⁺ 2024-09-24 | 1 yorum | WhatsApp'ta paylaş

Tesla, HotChips 2024'te Tesla Transport Protocol over Ethernet (TTPoE)'yi açık kaynak olarak yayımladı
Tesla, Ultra Ethernet Consortium (UEC)'a katılarak bu protokolü paylaşıyor ve AI/ML/veri merkezleri için yeni bir yüksek hızlı/düşük gecikmeli fabric'i standartlaştırmak için çalışıyor
TTPoE; özel mülkiyetli olmayan, düşük maliyetli, dağıtık tıkanıklık kontrolünü, standart EthernetII çerçevelerini ve merkezi olmayan bir ara bağlantı protokolünü hedefleyen bir yapı
TTPoE'nin özellikleri
- TCP'de olduğu gibi paket kaybı ve yeniden iletime izin veriliyor, ancak uçtan uca iletim garanti ediliyor
- TTPoE'nin ilk dağıtımı Tesla Dojo v1 projesinde yapıldı
  - Protokol tamamen donanım üzerinde çalışıyor ve on binlerce eşzamanlı endpoint'e sahip ultra büyük, çoklu exaflops (fp16) süper bilgisayara dağıtıldı
- Bu protokol, CPU veya OS müdahalesi olmadan bağlantıları kurup çalıştırabiliyor
Bu protokol karmaşık ya da aşırı "zeki" değil; temel ilkelere dayanıyor
- Ethernet aktarımı özünde veriyi A noktasından B noktasına taşımaktır ve yalnızca fiziksel sınırlarla kısıtlanmalıdır
- Çok büyük ölçekli sistemlerde merkezi tıkanıklık yönetimi anlamsız bir çabadır; her endpoint esnek olmalı ve kendi kendini yönetmelidir

GN⁺ görüşü

TTPoE, yüksek performanslı bilgi işlem ortamlarında mevcut TCP protokolünün sınırlamalarını aşmaya yönelik ilgi çekici bir girişim
Donanım offload'u ve basitleştirilmiş durum makinesiyle gecikmeyi en aza indirmek ve throughput'u en üst düzeye çıkarmak ana hedef gibi görünüyor
TTPoE, yapay zeka ve makine öğrenimi alanlarında veri aktarım hızını ve gecikmeyi iyileştirme potansiyeline sahip
Tesla'nın bu protokolü açık kaynak olarak yayımlaması, HPC alanında yeniliğin hızlanmasına yardımcı olacaktır
Ancak TTPoE'nin genel amaçlı ağlarda TCP'nin yerini tamamen alması zor görünüyor; bu, yüksek kaliteli özel ağlar için optimize edilmiş bir çözüm. TTPoE'nin yaygın biçimde benimsenmesi için standardizasyon ve ekosistem oluşturma önemli olacaktır
Benzer işlevlere sahip protokoller arasında RoCE (RDMA over Converged Ethernet) ve NVLink bulunuyor

xguru 2024-09-24

Tesla, Hot Chips 2023’te Dojo süper bilgisayarını tanıttı ve bunu otonom araçlar gibi otomotiv uygulamalarına odaklanan makine öğrenimi için kullanıyor
Eğitim verileri, yüksek I/O bant genişliği gerektiren videolardan oluşuyor ve tek bir tensörün boyutu Tesla’nın görüntü uygulamalarında 1.7GB’a kadar çıkabiliyor
Tesla, Dojo süper bilgisayarının işlem hacminin, host makinelerin veriyi süper bilgisayara ne kadar hızlı ittiğiyle sınırlanabileceğini fark etti

Tesla bu sorunu daha fazla host ekleyerek ve bu ek hostları süper bilgisayara düşük maliyetle bağlamanın bir yolunu bularak çözdü
InfiniBand gibi yaygın süper bilgisayar ağ çözümleri yerine Tesla, Ethernet’i kendi ihtiyaçlarına uyacak şekilde değiştirilmiş bir taşıma katmanıyla uyarlamayı seçti
TCP, Ethernet üzerinden Tesla Transport Protocol (TTPoE) ile değiştiriliyor; bu protokol mikrosaniye düzeyinde gecikme sunacak ve basit donanım offload’una izin verecek şekilde tasarlandı

TTPoE tamamen donanım üzerinde işlenecek şekilde tasarlandı ve standart TCP protokolünden daha iyi gecikme sağlıyor
TTPoE’nin durum makinesi TCP’ye kıyasla büyük ölçüde basitleştirilmiş durumda
TCP’nin bekleme durumları kaldırılarak gecikme azaltılıyor
TTP, TIME_WAIT durumunu kaldırıyor ve bağlantı sonlandırma sırasını 3 iletimden 2 iletime indiriyor
TCP’nin 3-way handshake süreci 2-way’e çevrilerek bağlantı kurulum gecikmesi kısaltılıyor

TCP’de olduğu gibi Tesla da tıkanıklık kontrolü için paket kaybını kullanıyor
Tesla, düşük gecikmeli bir temel ağ üzerinde çalışacak şekilde tasarladığı için bu sorunda kaba kuvvet yaklaşımını kullanabildi
Geleneksel TCP uygulamaları kayan bir tıkanıklık penceresi tutar, ancak TTP bunu yapmaz
Donanım, SRAM tamponunda iletilen veriyi izler ve bu da tıkanıklık penceresi boyutunu tanımlar
Geleneksel TCP tıkanıklık kontrol algoritmaları, Tesla’nın Dojo süper bilgisayar uygulamaları için etkili olamayacak kadar uzun zaman ölçeklerinde çalışır

Tesla, TTP protokolünü çip ile standart Ethernet donanımı arasına yerleştirilmiş bir donanım bloğunda işliyor
Bu MAC donanım bloğu CPU tasarımcıları tarafından tasarlandı ve birçok CPU tasarım özelliğini içeriyor
Sunum yapan kişi bunun paylaşımlı bir cache gibi çalıştığını söyledi; arbiter ise sıra risklerini dikkate alarak istekler arasından seçim yapıyor
En dikkat çekici kaynaklardan biri, yukarıda da belirtildiği gibi tıkanıklık penceresini tanımlayan 1MB’lık iletim SRAM tamponu

TPP MAC, Tesla’nın "Dumb-NIC" adını verdiği yapıda uygulanıyor
Mümkün olduğunca ucuz ve basit olduğu için buna "dumb" deniyor
Tesla, Dojo süper bilgisayarına veri beslemek için çok sayıda host düğümü dağıtmak istiyor; ucuz ağ kartları kullanmak bunu maliyet açısından verimli biçimde mümkün kılıyor
Mojo adı, ek host düğümlerinin performansı korumak için Dojo’ya daha fazla mojo sağladığı fikrinden geliyor
Mojo kartları uzak host makinelerine takılıyor; mühendislerin Dojo süper bilgisayarına veri beslemek için daha fazla bant genişliğine ihtiyaç duyması halinde havuzdan uzak host makineleri devreye alınabiliyor

Mojo ve TTPoE protokolü, iyi bilinen Transmission Control Protocol’ün (TCP) yüksek kaliteli süper bilgisayar iç ağlarında kullanılmak üzere nasıl basitleştirilebileceğine dair ilginç bir bakış sunuyor
Bu protokol teoride internette çalışabilir, ancak sabit tıkanıklık penceresi gibi basitleştirmeler internet servis sağlayıcılarına ve ötesine uzanan daha düşük kaliteli bağlantılarda iyi çalışmayacaktır
InfiniBand gibi diğer süper bilgisayar ağ çözümleriyle karşılaştırıldığında, Ethernet üzerinden özel bir taşıma protokolü Dojo’nun ihtiyaçlarını karşılamaya yetecek ek bant genişliği sağlayabilir