llama2'yi fine-tune edenler
(news.ycombinator.com)Bu, Hacker News'te llama2'yi fine-tune eden bir kullanım örneği.
Fine-tuning, yapay zeka modelini benim soru + cevap setimle ek olarak ayarlamaktır.
Fine-tuning için en az 50 örnekle başlanabileceği, mümkünse 1000'den fazla örneğin iyi olacağı söyleniyor.
Yazar, fine-tune edilmiş Llama 7B modelinin GPT-3.5'ten 50 kattan fazla daha ucuz olduğunu söylüyor.
Elbette Llama 7B ile GPT-3.5'i (165B) karşılaştırmak çok anlamlı değil, ancak fine-tune edilmiş GPT modelleri de ucuz olmadığı için, Llama'yı fine-tune edip kullanma örneklerinin artabileceğini düşünüyorum.
2 yorum
"Quantization ile 70B LLAMA'yı çift 4090/3090 üzerinde çalıştırabilirsiniz. Çift 3090 ile, 12K bağlamda LLAMA 2 70B çalıştırabilen bir sistemi 2 bin doların altında kurabilirsiniz.
Ben de ChatGPT'ye bir haftada o kadar para yaktıktan sonra böyle iki sistem kurdum."
https://news.ycombinator.com/item?id=37489601
Yorum gerçekten etkileyici. Devamındaki yoruma bakınca, farklı ekiplerin veriyi farklı formatlarda yönettiğini ama bunu ChatGPT ile normalize ederek veri formatını sadece bir haftada uyumlu hale getirdiklerini söylüyor. Böyle şeyleri iyi birleştirince gerçekten...
Vay, güzel fikir. replicate CEO'sunun bile gelip yorum yazması etkileyiciydi.
GPT-3.5'in (muhtemelen turbo) maliyetiyle llama 70b'nin maliyetinin benzer olacağı yönündeki görüş aklımda kaldı.
Ben işimde GPT kullanmayı düşünüyorum ama llama + ince ayarla avantaj elde eden girişimlerin ortaya çıktığını gördüğüm için paylaşmak istedim.