AITemplate - Derin sinir ağlarını yüksek performanslı CUDA/HIP C++ koduna dönüştüren Python çerçevesi

• Hızlı çıkarım için derin sinir ağlarını CUDA (NVIDIA GPU) / HIP (AMD GPU) C++ koduna dönüştürür
• ResNet, BERT, VisionTransformer, Stable Diffusion gibi büyük modellerde roofline fp16 TensorCode/MatrixCore performansına yaklaşır
• Birleşik, açık ve esnek bir açık kaynak
• Mükemmel geriye dönük uyumluluk (üçüncü taraf kütüphane/runtime bağımlılığı yok). Her model taşınabilir bir ikili dosya olarak derlenir
• Horizontal Fusion / Vertical Fusion / Memory Fusion
• PyTorch ile / olmadan çalışma