Alpaca ve cihaz üstü LLM geliştirmesinin hızlanması

• "SD Moment geliyor" yazısından sonraki 3 günde yaşanan değişimler
  • llama.cpp ile 4GB Raspberry Pi üzerinde çalıştırma. Token başına 10 saniye
  • Dalai ile kolayca çalıştırılabilir hale geldi
  • llama.cpp ile Pixel 6'da token başına 26 saniye elde edildikten sonra Pixel 5'te token başına 1 saniyeye iyileştirildi
  • Stanford, LLaMA 7B üzerinde fine-tune edilmiş Alpaca'yı yayınladı

Stanford's Alpaca

• LLaMA modelinin en büyük zayıflığı, soru-cevap için yeterli "instruction tuning" eksikliği olması
• OpenAI'ın büyük yeniliklerinden biri, GPT-3'e instruction tuning eklemesiydi
• Stanford buna 52.000 eğitim örneği ekledi ve 100 dolar karşılığında eğitilebilir hale getirdi
• En küçük 7B model artık Raspberry Pi/mobil telefonlarda da çalışıyor ve oldukça etkileyici sonuçlar üretiyor
• Ancak henüz ticari kullanım için uygun değil (3 nedenle mümkün değil: LLaMA'nın lisansı / instruction set verilerinin OpenAI modeliyle üretilmiş olması / güvenlik önlemlerinin tasarlanmamış olması)

Bunun anlamı ne?

• LLaMA'nın lisans modeli beni pek ilgilendirmiyor
• LLaMA, GPT-3 sınıfı dil modellerinin genel olarak erişilebilir kaynaklarla eğitilebildiğini gösterdi
• llama.cpp, LLM'lerin 4GB seviyesindeki tüketici donanımlarında çalıştırılabildiğini gösterdi
• Alpaca, 52K örnek ve 100 dolarlık maliyetle 7B modelin (4 bit quantization ile 4GB'a düşürülmüş) fine-tune edilebildiğini ve en yeni text-davinci-003 ile benzer sonuçlar verebildiğini gösterdi
  • Karşılaştırmada kullanılan şey 4 bit'e düşürülmüş 4GB model değil, 7B tam modeldi (13.48GB, 16 bit floating point); yine de ikisi arasındaki kalite farkını net biçimde karşılaştıran bir kaynağa henüz rastlamadım