Llama2.c: Saf C dosyasında Llama 2 çıkarımı

• Saf C içinde küçük bir Llama 2 modelinde çıkarım yapabilirsiniz.
• Bu kod, Llama 2 LLM mimarisini PyTorch'ta eğitip ağırlıkları ham ikili dosyalar olarak kaydetmenizi sağlar.
• Ardından ağırlıkları C dosyasına yükleyebilirsiniz.
• C dosyası, oldukça büyük modelleri çok yüksek hızda çalıştırabilir.
• Bu proje, prodüksiyon amaçlı bir kütüphane değil, bir hafta sonu projesi olarak geliştirildi.
• Önceden eğitilmiş modeli indirip C'de çalıştırabilirsiniz.
• C kodu ham token'ları stream eder; basit bir sarmalayıcıyla bunları metne dönüştürebilirsiniz.
• C kodu, M1 MacBook Air üzerinde yaklaşık 100 token/sn hızında çalışır.
• C kodunun çıktısı, modele dayanarak üretilen metindir.
• Bu proje belirli bir uygulamaya odaklanır ve aynı mimariyi sıfırdan eğitir.
• Kaynak veri setini indirip önceden tokenize ettikten sonra modeli eğitebilirsiniz.
• Daha iyi bir model oluşturmak için hiperparametreleri ayarlayabilirsiniz.
• Karşılaştırma için PyTorch çıkarım betiğini de çalıştırabilirsiniz.
• Sağlanan test betiğiyle ayrıntılı testler yapabilirsiniz.
• Bu proje, PyTorch eğitimi için model.bin dosyası ile model.ckpt dosyasını gerektirir.
• Metinde birkaç yapılacak iş ve soru da belirtiliyor.
• Bu proje MIT lisansı ile sunulmaktadır.

[GN⁺]

Hacker News görüşleri

• Andrey, OpenAI'den maaş alırken Apple, Facebook ve açık kaynak hareketine de yardımcı oluyor.
• Orijinal checkpoint, MacBook Air M1'de beklenenden daha hızlı çalışıyor.
• Yeni 44M model şu anda eğitiliyor.
• Llama modeli, Emscripten aracılığıyla tarayıcıda çalışıyor.
• Yerel tabanlı LLM'ler, yerel çıkarım için web uygulamaları oluşturmak adına ilgi çekici bir teknoloji.
• Kod, WASI SDK ile temiz bir şekilde derleniyor ve Wasm runtime'ında çalışıyor.
• Daha fazla ayrıntı için Andrey'in Twitter hesabına bakabilirsiniz.
• Sinir ağı çalıştırmak için gereken bellek gereksinimleri tartışılıyor.
• Llama-2'nin yaratıcı işlerde kullanılamayacağı belirtiliyor.
• Sektör, yayımlanan her model için ayrı kaynak koda geçebilir.
• "Tek dosya içinde" veya "yalnızca header" yaklaşımının cazibesi tartışıldı.
• yoloyu azaltmak için daha iyi testler yazma konusunda mizahi bir yorum var.