Llama2.c: saf C ile yazılmış Llama 2 çıkarım kodu

 (github.com/karpathy)
13 puan yazan ninebow 2023-07-24 | 1 yorum | WhatsApp'ta paylaş
  • Bu yazı, GPT-4 kullanılarak otomatik olarak oluşturulmuş bir açıklamadır ve hatalı bilgiler içerebilir. :smile:
  • Hatalı bir bilgi fark ederseniz lütfen yorumlarda bildiriniz! :bowing_man:

Giriş

Llama2.c, Andrej Karpathy tarafından geliştirilen, saf C ile yazılmış bir Llama 2 çıkarım uygulamasıdır. Bu proje, makine öğrenimi modellerinde çıkarım için hafif bir kütüphanedir ve C dilinde yazıldığı için çeşitli platformlarda kullanılabilir. Bu kütüphane özellikle küçük modeller için CPU üzerinde hızlı çalışacak şekilde tasarlanmıştır.

Özet

Bu kütüphane, makine öğrenimi modellerinde çıkarım için hafif bir kütüphanedir ve C dilinde yazıldığı için çeşitli platformlarda kullanılabilir. Bu kütüphane özellikle küçük modeller için CPU üzerinde hızlı çalışacak şekilde tasarlanmıştır. Bu kütüphane özellikle küçük modeller için CPU üzerinde hızlı çalışacak şekilde tasarlanmıştır.

Bu proje çeşitli optimizasyon seçenekleri sunar; böylece kullanıcılar sistemlerine göre kodu daha hızlı çalıştırabilir. Örneğin -O3, -Ofast, -ffast-math, -funsafe-math-optimizations, -march=native gibi derleme seçenekleri kullanılabilir. Bu seçenekler vektörleştirme, döngü açma, dal tahmini gibi optimizasyonları içerir ve bazı seçenekler C/IEEE spesifikasyonlarını ihlal edebilir.

Bu proje hâlâ geliştirme aşamasındadır ve çözülmesi gereken çeşitli sorunlar vardır. Örneğin, C örnekleme kodunda ./run çalıştırılırken başında neden boşluk bulunduğu, küçük modeller için çoklu sorgu desteği ve maksimum dizi uzunluğunu aşan çıkarım desteği gibi konular yer alır.

Referanslar

  1. GCC optimizasyon seçenekleri: GCC'nin çeşitli optimizasyon seçenekleri hakkında ayrıntılı bilgi edinebilirsiniz.
  2. GCC floating point math: -ffast-math ve -funsafe-math-optimizations seçenekleri hakkında ayrıntılı bilgi edinebilirsiniz.
  3. Andrej Karpathy'nin GitHub'ı: Andrej Karpathy'nin diğer projelerine göz atabilirsiniz.
  4. Llama2.c lisansı: Bu projenin MIT lisansını inceleyebilirsiniz.
  5. Llama2.c katkıda bulunanlar listesi: Bu projeye katkıda bulunan kişileri görebilirsiniz.

Kaynak

https://github.com/karpathy/llama2.c

İlgili okumalar