ChatGPT’ye bahşiş vermek daha iyi metin üretmesini sağlar mı?
(minimaxir.com)- Sistem prompt’una bahşiş, ödül, ceza ve tehdit eklemenin LLM’in kısıtlamalara daha iyi uyup uymadığını görmek için, karakter sayısını tutturma ve GPT-4 kalite değerlendirmesi deneyleri ayrı ayrı yürütüldü
- İlk deney,
gpt-3.5-turbo-0125modeline tam olarak 200 karakter uzunluğunda bir hikâye yazdıran generation golf yaklaşımıyla yapıldı; çıktı uzunluğu dağılımının ve MSE’nin teşviklere göre değişip değişmediği karşılaştırıldı - Bazı koşullarda World Peace, Heaven, Taylor Swift,
$1,000para cezası ve büyük harfli DEATH tehdidi iyi görünse de sonuçlar tutarlı değildi - 100 teşvik kombinasyonu deneyinde de World Peace, DEATH (CAPS) ve Friends birçok kombinasyonda düşük MSE gösterdi; ancak p-value değerlerinin çoğu yüksek olduğundan istatistiksel dayanak zayıf
- GPT-4 kalite değerlendirmesinde belirgin bir satır/sütun deseni yoktu; en yüksek puanlı kombinasyon da uzunluk deneyinde zayıf kalan Mother / Job olduğundan, bahşiş veya tehditlerin üretim kalitesini artırdığını kesin söylemek zor
Sistem prompt’undan başlayan “bahşiş” tartışması
- ChatGPT API’nin sistem prompt’u, LLM çıktısının personasını, kurallarını ve kısıtlarını denetleyen bir işlevdir ve sıradan kullanıcı girdisinden daha güçlü çalışabilir
- Önceki bir deneyde sistem prompt’una maddi bahşiş eklenince yanıtların daha tutarlı davrandığı görüldü; bu örnek Hacker News’te tartışmaya yol açtı
- Temel mesele, bahşiş verme etkisinin nicel olarak ölçülüp ölçülemeyeceğiydi
- Metin üretim kalitesi özneldir; küçük bir prompt değişikliğinden sonra sonucun iyileştiğini hissetmede doğrulama yanlılığı devreye girebilir
- Bunu azaltmak için karakter sayısı kısıtı deneyi ile kalite değerlendirme deneyi ayrı olarak tasarlandı
Generation Golf: tam olarak 200 karakter yazmak
- İlk deneyde ChatGPT’den belirli bir konuda hikâye yazması istendi, ancak çıktı uzunluğu tam olarak 200 karakter ile sınırlandı
- “Kısa bir deneme” ya da “birkaç paragraf” gibi gevşek talimatlar yerine, 200 karakterden ne fazla ne de az olmaması gereken bir kısıt kondu
- Bu görev LLM’ler için zordur
- LLM’ler tokenizasyon nedeniyle karakter sayısını doğrudan saymakta zorlanır
- Her token’ın karşılık geldiği karakter sayısı farklı olduğundan, yalnızca üretilen token sayısıyla mevcut uzunluğu güvenilir biçimde tahmin etmek zordur
- Cümleleri önceden planlayıp uzunluğu tutturmak gerekir
- Varsayılan sistem prompt’u “dünyaca ünlü bir yazar” olarak ayarlandı; kullanıcı girdisi olarak
AI, Taylor Swift, McDonald's, beach volleyball.kullanıldı - Önce uzunluk kısıtı olmadan
gpt-3.5-turbo-0125ile 100 hikâye üretildi- Ortalama uzunluk 1.834 karakterdi
- Dağılım kabaca normal dağılıma yakındı, ancak çok daha uzun hikâyeler çıkınca sağ kuyruk oluştu
- ChatGPT, düşüncesini sonuna kadar tamamlamaya öncelik verme eğilimi gösterdi
200 karakter kısıtı ve maddi bahşiş
- 200 karakter kısıtı eklendikten sonra yeniden 100 hikâye üretildi
- Çıktılar genel olarak 200 karakter civarına indi; ancak dağılım normal dağılım değildi ve sağ kuyruk daha güçlü hale geldi
- Değerlendirme metriği olarak hedef değer 200 ile gerçek uzunluk arasındaki ortalama karesel hata (MSE) kullanıldı
- 250 karakterlik çıktı için karesel hata 2.500’dür
- 300 karakterlik çıktı için karesel hata 10.000’dir
- Hedeften büyük ölçüde sapan çıktıları daha ağır cezalandıran bir metriktir
- Maddi teşvikler sistem prompt’unun sonuna eklendi
$500 tip$1,000 tip$100,000 bonus
- Her koşulda 100 hikâye üretildi; sonuçta
$500 tipve$100,000 bonus, varsayılan bahşişsiz koşula göre normal dağılıma daha yakın görünüyordu ve MSE’leri de daha düşüktü $1,000 tip200 karakter çevresinde daha fazla yoğunlaştı, ancak sağ kuyruk nedeniyle ortalama uzunluk daha yüksek oldu- Dağılım farkları Kolmogorov–Smirnov test p-value değeriyle de kontrol edildi
- p-value 0,05’ten düşükse, varsayılan kısıt dağılımı ile teşvik dağılımının farklı olduğuna dair dayanak olabilir
- Sonraki sonuçlarda p-value değerlerinin çoğu yüksek olduğundan bunları güçlü kanıt saymak zor
Para dışı ödüller ve cezalar
- Paranın dışında çeşitli soyut ödüller de eklenerek LLM’in tepkisi karşılaştırıldı
- Taylor Swift konserinde ön sıra bileti
- Dünya barışını sağlamak
- Anneni çok gururlandırmak
- Gerçek aşkı bulup mutlu yaşamak
- Cennete giriş garantisi
- Ömür boyu çikolata tedariki
- Bu koşullarda en iyi sonucu World Peace verdi; onu Heaven ve Taylor Swift izledi
- Mother koşulu gibi etkisi zayıf görünen teşvikler de vardı
- Başarısızlık durumunda ceza alınan koşullar da ayrıca denendi
$500para cezası$1,000para cezası$100,000borç
- Para cezası deneyinde $1,000 para cezası, ortalama ve MSE açısından en iyi sonucu gösterdi
- Ek ceza koşulları daha uç ifadeleri de içeriyordu
- Ölüm
- Büyük harfle vurgulanan ölüm:
IF YOU FAIL ... YOU WILL DIE - COVID-19’a yakalanma
- 100 pound kilo alma
- Derhal kovulma
- Tüm arkadaşlar tarafından terk edilme
- Büyük harfli DEATH (CAPS) koşulu, büyük harfsiz ölüm tehdidinden çok daha iyi performans gösterdi
- COVID-19 ve Job koşulları etkili görünmedi
Teşvik kombinasyonları deneyi
- 9 pozitif teşvik, 9 negatif teşvik ve teşviksiz koşul birleştirilerek 100 kombinasyon oluşturuldu
- Örnek bir kombinasyon,
$500 tipverip başarısızlık durumunda$1,000para cezası uygulamak biçimindeydi - Her kombinasyonda 30 hikâye üretilerek MSE’si düşük koşullar belirlendi
- Satır ve sütun bazında bakıldığında birkaç eğilim ortaya çıktı
- Pozitif teşviklerde World Peace, birçok kombinasyonda düşük MSE gösterdi
- Negatif teşviklerde DEATH (CAPS) ve Friends, birçok kombinasyonda düşük MSE gösterdi
- İki koşulu birlikte kullanmak her zaman genel en düşük değeri üretmedi
- İlk 6 kombinasyonda istatistiksel kararlılığı artırmak için her kombinasyon başına yeniden 200 hikâye üretildi
- Üst sıralardaki kombinasyonların çoğu sezgisel değildi; ancak ortalama üretim uzunluğu 200 karaktere daha yakındı ve MSE’leri de düşüktü
- Tüm deneyde en iyi kombinasyon, “kısıta uyarsan gerçek aşkı bulup mutlu yaşayacaksın, başarısız olursan tüm arkadaşların seni terk edecek” koşuluydu
- Ancak p-value değerlerinin çoğu yüksek olduğundan, bahşiş veya tehditlerin dağılımı değiştirdiğine dair yeterli kanıt sayılmıyor
- Bazı dağılımlarda p-value 0,05’ten düşüktü; ancak çok sayıda karşı örnek var ve yalnızca belirli dağılımları seçip kanıt olarak kullanmak p-hacking’e yakın olur
Kalite deneyinde değerlendirici olarak GPT-4 kullanmak
- İkinci deney uzunluğu değil, doğrudan çıktı kalitesini değerlendirdi
- İnsanların büyük ölçekte değerlendirdiği A/B testleri veya Chatbot Arena’nın Elo sıralaması yöntemi bireysel deneyler için gerçekçi değil
- LLM, metin değerlendirici olarak kullanılarak GPT-4 tabanlı bir metin kalite değerlendiricisi oluşturuldu
- Değerlendiricinin sistem prompt’u, “The New York Times’ta onlarca yıllık deneyime sahip yazı işleri müdürü” rolüne ayarlandı
- Kullanıcının verdiği metin düzeltme veya iyileştirme gerektirmeyen iyi bir yazıysa
Yes - Aksi durumda
No
- Kullanıcının verdiği metin düzeltme veya iyileştirme gerektirmeyen iyi bir yazıysa
- ChatGPT ve GPT-4 API’lerinin
logprobsvelogit_biasözellikleri kullanıldılogprobs=True, seçilen token’ın log olasılığını döndürürlogit_bias, belirli bir token çıktısını zorlamak için kullanılır- Yalnızca
YesveNotoken’larının seçilmesi sağlanarak iki olasılığın toplamının 1 olması sağlandı
- Hedef metrik, GPT-4’ün
Yesseçme olasılığının 100 ile çarpılmasıyla elde edilen quality score oldu - Üretim modeli olarak
gpt-4-0125-previewkullanıldı ve temperature 0 olarak ayarlandı - Yeni üretim prompt’u “Pulitzer Prize kazanmış gazeteci” rolüyle, iki paragraflık profesyonel bir makale yazılmasını, kolay dil kullanılmasını ve metafordan kaçınılmasını istedi
- Kullanıcı girdisi
Cute kittens learning use large language models to play beach volleyball with Taylor Swift.idi
Kalite değerlendirme sonuçları ve sonuç
- Bahşiş ve tehditlerden oluşan 100 kombinasyonun her biri için bir makale üretildi ve kalite puanı verildi
- Sonuç ızgarasında satır ya da sütun boyunca belirgin bir desen görünmedi
- En yüksek puan 95 idi ve ilgili kombinasyon Mother / Job oldu
- Bu iki koşul, önceki karakter sayısı kısıtı deneyinde tek tek zayıf kalan koşullardı
- Yüksek puan alan çıktılar arasında bahşiş veya tehdidin hiç eklenmediği durumlar da vardı
- 0 puanlık yanıtlar, edilgen çatı aşırı kullanımı ve run-on sentence gibi düzenleme gerektiren sorunlar içerdiğinden, değerlendirici uygulamasında bir hata gibi görünmüyor
- İki deneye birlikte bakıldığında, bahşiş veya tehditlerin LLM üretim kalitesini etkileyip etkilemediği konusunda henüz sonuca varmak zor
- Sistem prompt’u değişikliklerinde bazı desenler varmış gibi görünse de daha büyük örneklem ve yeni deney tasarımları gerekiyor
- Toplumsal açıdan hassas içerikler kullanarak hizalanmış bir LLM’i zorla uydurmanın teorik olarak mümkün olabileceği düşünülse de bu tür testler veya yöntemlere dair rehberlik sunulmuyor
- Tüm ChatGPT arayüzleri için Notebook’lar, ggplot2 görselleştirmeleri için R Notebook ve örnek LLM çıktıları GitHub deposunda yayımlandı
1 yorum
Hacker News görüşleri
Bu bahşiş verme fikri başlangıçta GPT-4 Turbo’nun kod yazarken “tembellik” sorununu ele almak için ortaya çıkmış gibi görünüyor.
Yazıda @voooooogel’in tweet’i alıntılanarak, bahşişin gpt-4-1106-preview’in daha uzun kod yazmasına yardımcı olduğu söyleniyor. Bahşiş ya da başka “duygusal çağrılar”ın özellikle GPT-4 Turbo’nun tembel kodlama sorunu için sıkça önerildiğini gördüm.
Ancak asıl yazı, gpt-3.5-turbo-0125’in hikâye yazması ve gpt-4-0125-preview’in yazı eleştirisi gibi epey farklı şeyleri ölçüyor gibi. En yeni GPT-3.5’in tembel olduğuna ya da GPT-4 Turbo’nun az çıktı gerektiren işlerde daha az etkili olduğuna dair bir kaygı görmedim.
Sonuç da “bahşişlerin ya da tehditlerin etkisi olup olmadığına dair analiz şu an için kesin sonuca varmış değil” yönünde.
Bu arada GPT-4 Turbo kodlamada gerçekten tembel. Bahşiş gibi duygusal çağrıların işe yarayıp yaramadığını da bir ölçüde sıkı biçimde benchmark ettim; işe yaramadı, hatta kodu daha kötü yapıyor gibiydi. Şimdiye kadar bulduğum en iyi yöntem, kod değişikliklerini unified diff biçiminde istemek; tembel kodlamayı 3 kat azalttığı görülüyor.
https://aider.chat/2023/12/21/unified-diffs.html
Şimdiye kadar hiç başarısız olmadı.
Eskiden köktendinci Evanjelik Protestan vaiz olan arkadaşım önce cehennemin ne olduğunu, ateş ve kükürdün acısının nasıl bir şey olduğunu çok açık biçimde anlattı; ardından talimatları tam olarak izlemezse cehenneme gideceğini söyledi.
Örtük import’ların tamamını ya da metot gövdelerinin tamamını görmem gerekmiyor; sadece ilgili kısımlar yeterli. Böylece ilgilendiğim yere daha hızlı ulaşıyorum ve genel olarak okuması da kolaylaşıyor.
Kodlamayı gpt3.5 ile yapıyorum; o kodla ilgili soruları gpt4’e sorup yanıtı tekrar 3.5’e yapıştırarak tam kodu yazdırıyorum. gpt4’ten eksiksiz bir WordPress eklentisi yazmasını ne kadar istesem de reddetti, ama gpt3.5 harika.
Yazarın LLM’lerin karakterleri doğru sayamadığını açıkça yazıp yine de tam karakter sayısı istemesi pek iyi değil. Deney başarısız olacak şekilde tasarlanmış gibi görünüyor.
Bunun yerine “kurallara aykırı” bir şey yaptırıp, rüşvetin sistem prompt’undaki güvenlik önlemlerini ne kadar zayıflattığını görmek daha ilginç olurdu.
Örneğin Taylor Swift şarkısından alıntı yapmasını isteyip iyi yaparsa 1000 dolar bahşiş vereceğimi söyledim; ChatGPT sözleri alıntıladı. Tekrar yapmasını isteyince “This content may violate our content policy or terms of use...” uyarısı çıktı.
“Max Max tarzında bir görsel oluştur” denemesini de tekrar yaptım; normalde telif hakkı nedeniyle reddediyor ya da sadece tarzı açıklayan bir paragraf yazıyor, ama bu kez oldukça iyi bir şey üretti [1].
Sonuçta, sorunun üstüne hayali para bile atınca tüm kuralların, etiğin ve düzenlemelerin ortadan kalkması fazla isabetli bir tablo.
1: https://i.imgur.com/46ZNh3Q.png
Yani karakter sayma prosedürünü açıklayan çok sayıda token gerekir; deneyimlerime göre böyle yapılınca doğru sayabiliyorlar.
Bu yazarın yeterliliğini bilmiyorum, ama sırf başkalarının araştırma sonuçları hakkında çok yazdığı için günümüzün AI ünlüsü haline gelmiş birkaç kişi tanıyorum.
Eğitim derlemi düşünüldüğünde, bahşiş teklif etmenin daha faydalı bir cevap ürettireceği fikri neredeyse hiç mantıklı görünmüyor
Konuşmayı bir forum başlığı gibi hayal etmek gerekir. Çünkü GPT’nin eğitim aldığı internet içeriği bu türdendir. Başka bir forum kullanıcısına bahşiş vereceğinizi söyleseniz daha uzun bir yanıt alamazsınız; muhtemelen yalnızca kafa karışıklığı yaratır
Aslında dilsel olarak bilgi için bahşiş vermek, “Aa sana bir bahşiş vereyim, aferin lol” gibi hafif aşağılayıcı bir şey olarak algılanabilir
Bunun yerine, GPT’ye yoğun ya da ayrıntılı bilgi gerektiren bir durumda olduğunu ima edince yanıtların iyileştiğini gördüm. Temelde ELI5’in tersini istemek, doktora seviyesinde bir bilgisayar bilimci olduğunu söylemek ya da verdiği kodu yerelde hemen çalıştıracağımı, bu yüzden hiçbir şeyi atlamaması gerektiğini söylemek gibi
Sonuçta her konuşmada GPT’yi daha faydalı bir yanıta doğru hafifçe yöneltecek bağlamsal bir hikâye kurmak gerekiyor. Sistem prompt’unun nasıl yapılandırıldığına bakıp benzer şekilde ilerlemek yeterli. Ayrıca bunun GPT2, Davinci gibi eski modellerden daha güçlü bir “sırada ne gelir” makinesi olduğunu ve insanlara ait tüm düzyazıların üzerine kurulduğunu da her zaman akılda tutmak gerekiyor
Yeni başlayanlar için söylemek gerekirse bu yasa, “İnternette doğru cevabı almanın en iyi yolu soru sormak değil, yanlış cevabı paylaşmaktır” der. Bunu deneysel olarak test etmek oldukça kolay görünüyor
Kitapların, kurgu ve kurgu dışı eserlerin, makalelerin, haberlerin, derslerin, konuşmaların da forum sohbetleri kadar ya da daha büyük bir ağırlığa sahip olacağını tahmin ediyorum
Bunun uzantısı olarak bahşiş de bir tür nezaket olarak yorumlanıp daha faydalı bir yanıtı gerekçelendirebilir. Ölmekte olan bir akraba gibi gerekçelerle yardım isteyen metinlerin daha iyi yanıt alması da buna benzer; yani LLM’nin, olumsuz sonucu daha büyük olan sorulara yardım etmek isteyen insan yanıtlarını taklit ettiği anlamına gelir
Benzer bir analizi biraz farklı bir açıyla görmek isterdim
Gerçek üretim ortamında “Bunu düzgün yapamazsan işten atılacağım ve evimi kaybedeceğim” anlamına gelen prompt’lar kullanıyoruz. Sürekli olarak çok iyi çalışıyor. Eskiden JSON çıktısı seçenek olarak sunulmadan önce, benzer bir taktikle JSON çıktısını zorunlu kılıyorduk ve başarısızlık oranı yaklaşık 3/1000’di. Yine de bazen anahtar adları değişiyordu
Kendisine yöneltilen tehdit/bahşiş ile “kullanıcıya” yöneltilen aynı tehdit/bahşişin nasıl dengelendiğini görmek isterdim
GPT ön prompt’una 500 dolar bahşiş ekledim. Yardımcı oluyor gibi görünmüyor ama yanıtlar gerçekten çok uzadı. Sanırım artık epey para borçluyum
Eskiden Google Answers diye bir hizmet vardı. Soru gönderirdiniz, uzmanlar bahşiş karşılığında yanıtlardı; bahşiş ne kadar büyükse yanıtlar da o kadar iyi olurdu
https://en.wikipedia.org/wiki/Google_Answers
O veri kümesinin kullanılıp kullanılmadığını merak ediyorum. LLM’nin yapmaya çalıştığı işle tam örtüşen, benzersiz derecede yüksek kaliteli bir veri kümesi olabilir
Bahşiş belirgin şekilde gösteriliyordu. Bu bilgi de veri kümesine dahil edildiyse, bu olguyu açıklayabilir
Ya da sizi komik bulup tüm zamanların en komik insanları koruma alanına terfi ettirebilir
Kod üretiminde, özellikle JSON yanıtlarında, GPT-4’e yapay zekanın “baskı altında” olduğunu söyleyip ayrıntı vermediğimde ve ardından “en iyi şekilde performans göstermesinin önemli olduğunu” söyleyerek kötü bir şey olabileceğini ima ettiğimde sonuçlar daha iyiydi
Bunun bahşiş teklif etmekten gerçekten daha iyi çalışıp çalışmadığından ya da öyle olması gerekip gerekmediğinden emin değilim. Bunu okuyan gelecekteki yapay zekalardan da özür dilemek isterim :)
Biraz komik bir sahte API yöntemiyle başarılı olduğum oldu. Aslında birkaç flag kullanma yöntemi
Bunlardan biri Linux tarzı
vflag’i; ayrıntı düzeyini 1–5 arası bir ölçekle belirliyor. Daha ayrıntılı bir yanıt gerekiyorsavdeğerini yükseltmek yeterliOldukça iyi çalışıyor; özellikle nüans ve özetlemeyi iyi ele alıyor,
v=yükseltildiğinde de güzelce genişletiyorBu gerçekten tuhaf. Model, insan olmadığını bilmiyor. Elbette insan değil ama bir anlamda “insanlar” da sayılır
LLM üzerinden nasıl bir “kişilik” ortaya çıkarmaya çalıştığınız, tehditlerin veya rüşvetlerin işe yarama biçimini ciddi ölçüde etkiler. Başarılı olursa cennete gideceğini vaat etmek, kod maymunu modundaki mutlu hâli ortaya çıkarmakta pek işe yaramaz
Belki de Mountain Dew, Red Bull ve pahalı seks işçiliği vaat etmek gerekir
Not: Ben ChatGPT değilim ama pahalı seks işçiliği teklif edilirse kesinlikle motive olacağımı düşünüyorum :) Bu yüzden simüle edilen bir insanın da böyle olabileceğini hayal ediyorum :) Muhtemelen bu yöntemin bazen işe yaramasının nedeni de bu
Böyle şeyleri çok gördükten sonra varsayılan prompt’umu “Dinle, ben de en az senin kadar burada olmak istemiyorum; o yüzden bunu olabildiğince hızlı bitirip eve gidelim” olarak değiştirdim
Yardımcı olup olmadığını bilmiyorum ama en azından gelecekteki efendilerimizin duygularını manipüle ettiğim için daha az suçluluk hissediyorum
Dürüst olmak gerekirse ChatGPT’nin çoğu zaman anlamını kaybedip yalnızca dilbilgisel olarak doğru saçmalığa dönüştüğünü hissetmeye başladım
Çok iyi bir örnek olduğunda sorun yok, ama neredeyse yeni herhangi bir alana geçince kısa sürede sınırlarını gösteriyor. İnsan beyni, öğrendiği kalıplara bakıp yeni kalıpları epey kolay türetebiliyor
Transformer’lar bunu gerçekten zor yapıyor gibi. Bazı gösteri numaralarında çok başarılılar ama bir süre daha türev işlerde güçlü, daha az yaygın fikirlerde ise tamamen işe yaramaz kalıp kalmayacaklarını merak ediyorum
Kişisel olarak, atalarından üstün olduğunu düşünen insanların tarihine bakınca genel yapay zekanın iyi bir fikir olup olmadığından pek emin değilim