Lit-LLaMA - nanoGPT tabanlı açık kaynak LLaMA uygulaması

 (github.com/Lightning-AI)
25 puan yazan xguru 2023-04-03 | 1 yorum | WhatsApp'ta paylaş
  • GPL lisanslı LLaMA kodu yerine, nanoGPT tabanlı ve Apache 2.0 lisansıyla tamamen ayrı geliştirilmiş bir açık kaynak proje
  • Boilerplate olmadan tek dosya halinde uygulanmış; sade yapıda ve mevcut modelle sayısal olarak aynı
  • FlashAttention, nicemleme, LoRA fine-tuning ve ön eğitim desteği sunuyor
  • Tüketici donanımında çalışacak şekilde optimize edilmiş

İlgili okumalar

1 yorum

 
xguru 2023-04-03

nanoGPT, Tesla'nın eski yapay zeka lideri Andrej Karpathy'nin minGPT'yi yeniden yazarak oluşturduğu koddur.
nanoGPT - orta ölçekli GPT'leri en hızlı şekilde eğitmek/ince ayar yapmak için açık kaynak

FlashAttention