LIMA - 65B LLaMA modeli ve yalnızca 1000 prompt ile GPT-4'e yaklaşan performans

 (arxiv.org)
24 puan yazan xguru 2023-05-23 | 4 yorum | WhatsApp'ta paylaş
  • "Less Is More for Alignment"
  • Pekiştirmeli öğrenme veya tercih modellemesi olmadan, iyi kürasyon yapılmış yalnızca 1000 prompt ile fine-tune edilen LLaMA modeli
  • Vakaların %43'ünde GPT-4 ile eşdeğer ya da daha çok tercih ediliyor; Bard ile karşılaştırıldığında bu oran %58, insan geri bildirimiyle eğitilmiş DaVinci003'e kıyasla %65 daha yüksek
  • Makalenin hipotezi, LLM'lerin neredeyse tüm bilgisinin pretraining sırasında öğrenildiği ve alignment'ın kullanıcıyla etkileşim kurma biçimini/stilini öğrenen basit bir süreç olduğu yönünde
  • Meta AI'ın yeni makalesi

İlgili okumalar

4 yorum

 
merong 2023-05-23

Sejong projesi sürdürülerek Korece dil modeli verileri açık kaynak olarak biriktirilmeliydi. Gerçekten çok üzücü bir proje...
 
kuroneko 2023-05-23

İngilizce performansı bu kadar hızlı gelişirken, GPT dışındaki çoğu modelin Koreceyi hâlâ iyi anlayamaması gerçekten üzücü...
 
dulco 2023-05-23

Anthropic Claude'un Korece eğitimi oldukça iyi bir seviyede, ancak ifade yeteneği bazı açılardan hâlâ ChatGPT'den farklı.
 
test4458 2023-05-23

Üzgün yüz, doğru. Korece konusunda GPT API dışındakilerin hepsi neredeyse çöp seviyesinde...