Google Research ekibinin yayımladığı makalede ("Prompt Repetition Improves Non-Reasoning LLMs") ortaya çıkan son derece basit ama güçlü bir teknik:
Aynı promptu aynen iki kez art arda girmek, çoğu modern LLM'de (Gemini, GPT-4o, Claude, DeepSeek vb.) doğruluğu ciddi biçimde artırıyor.
Ana noktalar:
- LLM'lerin otoregresif yapısı nedeniyle prompt bilgisinin sırasına ve yalnızca bir kez görülmesine karşı kırılgan olduğu belirtiliyor → önemli bilgi sonda yer aldığında veya referans gerektiren görevlerde sık hata yapıyorlar.
- Promptun iki kez tekrar edilmesi → prefill (girdi analizi) aşamasında aynı içeriğin iki kez işlenmesini sağlıyor; böylece modelin iç temsili daha doğru hale geliyor ve referans/bellek hataları büyük ölçüde azalıyor.
- Üretim aşamasını (çıktı token'larının oluşturulması) neredeyse hiç etkilemiyor → çıkarım süresi ve çıktı uzunluğu neredeyse artmıyor (Claude gibi bağlamı çok uzun olan durumlar hariç).
- Deney sonuçları: 7 model × birden fazla benchmark üzerinde 70 kombinasyonun 47'sinde iyileşme görüldü; hiçbirinde belirgin düşüş yaşanmadı.
- Çarpıcı örnek: "50 isimlik listede 25. isim nedir?" görevi
→ Gemini 2.0 Flash Lite'ın temel doğruluğu %21 → tekrardan sonra %97 (neredeyse kusursuz) - Chain-of-Thought gibi karmaşık akıl yürütme görevlerinde etki sınırlı (özellikle model zaten referans işlemeyi iyi yapıyorsa).
- Dezavantajı: Prompt zaten çok uzunsa prefill süresi artabilir; üç veya daha fazla tekrar ise token sınırına takılabilir.
Sonuç
"Think step by step" kadar ünlü olabilecek, şaşırtıcı derecede basit ve neredeyse maliyetsiz bir doğruluk artırma hilesi.
Özellikle basit referans, liste işleme ve yapılandırılmış veri soruları için hemen uygulanabilecek pratik bir ipucu olarak öne çıkıyor.
Henüz yorum yok.