LoPE: Başına rastgele Latince metin eklemek LLM muhakemesini geliştiriyor! (arXiv makalesi)

LoPE: Başına rastgele Latince metin eklemek LLM muhakemesini geliştiriyor (arXiv makalesi)

Temel özet

LoPE, RL eğitimi sırasında prompt'un başına Lorem ipsum dolor sit amet ... ekleme tekniğidir. Zor problemlerde tüm örnekler başarısız olduğunda öğrenme sinyalinin 0 olduğu "zero-advantage" sorununu çözer.

Temel sonuçlar:

• Qwen3-4B için matematik benchmark ortalamasında +4.62 puan
• AMC 2023'te %22 göreli performans artışı
• Mevcut yöntemlerin tamamının başarısız olduğu 50 zor problemi aşan tek yöntem

Okuma noktaları

Latince tabanlı, "dile benziyor ama anlamsız olan metnin" neden etkili olduğu ve modelin temel muhakeme yörüngesini bozarak keşif çeşitliliğini güvence altına alan mekanizma ilgi çekici.