Yakın zamanda Gemma 3 küçük modellerini kullanarak film öneri alanı için SFT ve LoRA fine-tuning denemeleri yaptım. Deney sürecinde küçük modellerin (SLM) bilgi edinme kapasitesiyle ilgili bazı sınırlamalar hissettiğim için bu soruyu paylaşıyorum.
[Deney]
- Kullanılan modeller: gemma-3-270m-it, gemma-3-1b-it
- Eğitim yöntemi: LoRA ve SFT
- Deney sonucu: 1B model mevcut bilgisini temel alarak belli ölçüde akıl yürütebildi, ancak 270M modelde parametre sayısının sınırlı olması nedeniyle yeni alan bilgisini kabul edecek "kap"ın kendisinin yetersiz olduğu izlenimini edindim.
Genel tuning sürecini aşağıdaki blogda birden fazla gönderiyle kayıt altına aldım.
https://seungsang.tistory.com/entry/…
[Karşılaşılan sorunlar]
- LoRA'nın kapasite sınırı: Eğitilen parametreler toplamın yaklaşık %1'i düzeyinde kaldığı için, basit görev uyarlamasını (Task Adaptation) aşan bilgi enjeksiyonu (Knowledge Injection) konusunda sınırlamalar vardı.
- Tam fine-tuning (Full Fine-tuning) ikilemi: Modelin tüm ağırlıklarını güncellediğimde bilgi enjeksiyonu açısından avantajlı olsa da, mevcut genel amaçlı akıl yürütme (Reasoning) yeteneğinin kaybolacağını düşünüyorum. Bunu önlemek için Replay verisi karıştırmak istesem de, temel modelin eğitim verisi açık olmadığı için bu da zor bir durum.
Film alanında, modelin zaten bir miktar bilgiye sahip olması sayesinde fine-tuning yapılabildiğini düşünüyorum.
Peki ben belirli bir alanı temel almak istersem bunu nasıl yapmalıyım?
Küçük bir modeli belirli bir alanda uzmanlaştırmak istediğinizde, yetersiz parametre kapasitesini aşmak ve alan bilgisini etkili biçimde enjekte etmek için hangi stratejiler kullanılabilir?
Çok sayıda tavsiyenizi bekliyorum. CPT (Continue Pre-training) gibi çeşitli deneyimlerinizi paylaşırsanız memnun olurum.
5 yorum
Ben de 7B ile fine-tuning yaparken bir türlü istediğim gibi sonuç alamadım, çıldıracak gibi olmuştum. PTSD depreşti resmen.
Hâlâ yapıyor musunuz?
Olur da denediyseniz, hissettiğiniz noktalar ya da ipuçları gibi şeyler var mı?
LoRA ve fine-tuning, bilgi enjekte etmek için uygun değildir. LoRA ve fine-tuning, çıktı stilini/tonunu düzeltmek için en uygunudur. Bilgiyle ilgili verileri RAG biçiminde girdi prompt’una dahil edin, ardından çıktı verisinin recall/doğruluk düzeyini değerlendirin; sonrasında LoRA/fine-tuning uygularsanız çok daha etkili olur.
Ben de RAG kullanımından yana bir oy daha vermek isterim.
Yanıtınız için teşekkür ederim.
Eğer RAG ise, alanla ilgili veriyi nasıl uygun şekilde getireceğim konusunda biraz düşünüyorum.
Embedding modelinin kendisini eğitmek gerekip gerekmediği de aklımda...
Küçük modelin token sayısını da azaltmak istediğim için bilgiyi içselleştirmek istemiştim, ama anlaşılan LoRA’nın da bir sınırı var.
Söylediklerinizi düşüneceğim. Teşekkürler.