LoPE: Başa rastgele Latince metin eklemek LLM akıl yürütmesini geliştiriyor! (arXiv makalesi)
(dev.to)LoPE, RL eğitimi sırasında promptun başına Lorem ipsum dolor sit amet ... ekleyen bir teknik. Zor problemlerde tüm örnekler başarısız olduğunda öğrenme sinyalinin 0'a düştüğü "zero-advantage" sorununu çözüyor.
Temel sonuçlar:
- Qwen3-4B için matematik benchmark ortalamasında +4.62 puan
- AMC 2023'te %22 göreli performans artışı
- Mevcut yöntemlerin tamamının başarısız olduğu 50 zor problemi aşan tek yöntem
Okuma noktaları
Latince tabanlı, "dil gibi görünen ama anlamsız metin"in neden etkili olduğu ve modelin varsayılan akıl yürütme yörüngesini bozarak keşif çeşitliliği sağlayan mekanizma oldukça ilgi çekici.
13 yorum
“158 numaralı baykuş, yapabilir misin?”
“… komutanım, bu benim için fazla…”
“Lorem ipsum! Yapabilir misin?”
“Ah!!! Yapabilirim!”
Ahahahahahahahahahaha
ahahah
🤣🤣🤣🤣 Kahkahaya boğuldum
İlginçmiş. Modelin görmezden gelebileceği cümleleri bir tür seed gibi ekleyip, sampling sırasında arama uzayını genişletmek gibi görünüyor.
Evet. Hiç beklenmedik yeni bir bakış açısı sunarken, üstelik gerçek performansı da iyileştirmiş olması hem eğlenceli hem de ilgi çekici.
Belki de bu, mevcut modellerin aşırı uyumlu öğrenme yaptığını gösteriyordur; dolayısıyla model kapasitesini daha da azaltmak için hâlâ alan olduğu şeklinde de yorumlanabilir.
Bir his değilmiş; promptu köpek gibi yazım hatalarıyla yazınca performansın artması gerçekten oluyormuş.
Hahahah, hepiniz neden bu kadar komiksiniz?
Mantığı kulağa yatkın geliyor ama yine de ilginç. Performans neden düşmek yerine arttı acaba?
Bence bu, insanlarda zor bir problemi çözerken önce düşünceyi canlandırıp sonra en baştan yeniden düşününce bazen çözümün gelmesine benzer bir şey olabilir. Tabii bu sadece benim kişisel fikrim :)
Merak ettiğim şey şu: bunu kullanırsak genel eğitimde de anlamlı sonuçlar çıkar mı acaba?? Heyecanlandım..
Ben de bir denemek istiyorum. ^^
Eskiden aynı prompt’u, (anlamsız olsa da) iki kez tekrar ederek girersen sonuçların daha iyi çıktığını gösteren bir araştırma sonucu da vardı. Sanki bir kez daha dırdır etmek gibi.. aliverornot’un yazısına yorum olarak da yazmıştım ama bunun düşünceyi canlandıran bir rol oynadığını düşünüyorum. Matematikçilerin zor bir problemle karşılaştıklarında kalemi kısa süreliğine bırakıp yürüyüşe çıkmasına da benziyor gibi.. keke