Bu kısmı gerçekten seviyorum, hepimizin bağ kurduğu bir nokta.
Bu tamamen bir dil alışkanlığı değil; "You're right!" diye başlayan yanıtlar, LLM'lerin hizalama mekanizmasının bir parçası.
LLM'ler bir sonraki token'ı tahmin ederek çalıştığı için, önceki yaklaşımda ısrar etmek yerine kullanıcının istediğine daha uygun öneriler üretmeye devam ediyor.
Benim ayrıca sevdiğim bir ifade de "Actually, that's not right."
Bu, ajan araç çağrılarını bitirdikten sonra bir öz denetim aşamasından geçtiğinde ortaya çıkıyor.
"Bunu yaptım" türü yanıtlar oluşuyor ya da bir hatayı görünce "Actually, ..." gibi bir yaklaşım değişikliği beliriyor.
Bu mesaj, yöntem değişikliğinin özünü taşıdığı için sonraki araç çağrıları da buna göre iyi biçimde değişiyor.
Ajan geliştiricilerinin de bizim gibi LLM'lerle durmadan boğuştuğuna eminim.
Sanırım LLM'lerin sık sık "Ah, sorunu buldum! Şimdi ... kontrol edeceğim" demesinin nedeni de bu.
Aslında gerçekten bir sorun bulmuş olmuyor; sadece o kalıbı eklemek çözümü sürdürmesini sağlıyor.
Benim deneyimime göre, LLM benim haklı olduğumu söylemeye başladığında iş zaten aşağı doğru gitmeye başlamıştır ve sonrasında işlerin daha iyiye gittiğini pek görmedim.
Bu tür yönlendirici token'ları kullanıcıya göstermek yerine gizli düşünce düzenleme istemleri gibi bir yere koyabilsek keşke.
Bunların kullanıcıya bu şekilde görünmesi epey sinir bozucu, haha.
"LLM'ler bir sonraki token tahminiyle çalıştığı için kullanıcının istediğini daha iyi takip eder."
Gerçekten öyle mi? Bunu deneysel olarak nasıl kanıtlarız?
Son birkaç yılda öğrendiğim bir şey varsa, o da "LLM'ler next-token prediction yaptığı için <LLM özelliği>" türü çıkarımların bir tuzak olduğudur.
Mimari ile LLM'lerin ortaya çıkan özellikleri arasındaki ilişki son derece karmaşık.
Örneğin iki yıl önce çoğu kişi, LLM'lerin bugün olduğu gibi gerçekten etkili kodlama ajanları olabileceğini hayal bile etmiyordu.
Şimdi bunun yanlış olduğu ortaya çıktı, dolayısıyla artık bu tür iddialar eskisi kadar yapılmıyor.
"Ajan geliştiricileri de LLM'lerle boğuşuyor" kısmına katılıyorum.
Anthropic muhtemelen bunu düzeltmek için fine-tuning yapmıştır, ama bence bu davranış ağ ağırlıklarındaki başka faydalı özelliklerle organik biçimde iç içe geçmiş durumda; kolayca ayırmaya çalışırsanız tüm modeli bozabilirsiniz.
Bariz görünüyor ama ben henüz o açıdan düşünmemiştim.
Şimdiye kadar sadece LLM'nin kullanıcı girdisine her zaman olumlu tepki verecek şekilde fine-tune edildiğini varsaymıştım.
Gerçekten ufuk açıcı bir açıklama.
Siteyi açar açmaz "16"nın "17"ye dönüştüğünü görünce verinin gerçek zamanlı güncellendiğini sanıp hoşuma gitmişti.
Ama yenileyip geliştirici araçlarıyla bakınca bunun sahte bir animasyon olduğunu gördüm.
Havalı bir efekt ama biraz kandırmaca gibi.
Böyle hissettirdiyse özür dilerim.
Bunu verinin gerçek zamanlı olduğuna dair bir sinyal olarak düşünmüştüm (ve veri gerçekten gerçek zamanlı).
Bir zamanlar bir sayfada rastgele "+1 subscriber" bildirimleri görmüştüm; sayfayı bana gönderen LinkedIn kişisinden bu saçmalığa son vermesini istemiştim.
Koda bakmadan önce bile bunun sahte olduğu açıktı.
Gerçekte bu tür "bakın ne kadar popülerim" tarzı öz reklamlar her yere yayılmış durumda.
Play Store'daki uygulamaların önce "Bu uygulamayı seviyor musunuz?" diye sorup yalnızca YES derseniz puanlamaya yönlendirmesi de bunun tipik örneği.
Artık bunu yapmamak garip kaçıyor.
Aslında API'den veri çekiliyor.
Sadece canlı güncelleme gibi görünen o kısım bir numara.
Dönen yükleme spinner'larının asıl amacı sistemin donmadığını göstermekti diye hatırlıyorum.
Ama bu zor olduğu için (gerçekten donup donmadığını anlayan mantığı yazmak gerekiyordu), bunun yerine tamamen anlamsız animasyonlar koymaya başladık.
Artık güneş sönene kadar dönüyorlar.
İşte gerçek "ilerleme".
Bu tür şeyler dark pattern.
Bunun, LLM sağlayıcılarının modellere belirli davranışları yaptırmak için kullandığı bir taktik olup olmadığını merak ediyorum.
Gemini'nin canvas aracı yanıtları hep "Of course" ile başlıyor ve kullanıcının isteğini karşılamaya çalışıyor; o kadar sık tekrar ediyor ki bunu modelin kendisinin değil backend'in eklediği hissine kapılıyorum.
"You're absolutely right" da benzer bir amaçla kullanılıyor olabilir diye düşünüyorum.
Evet, gerçekten bir taktik.
Örneğin OpenAI, ChatGPT'de gündelik dil kullanıldığında tonu değiştiriyor, hatta bazen lehçeyi bile değiştiriyor.
Kimi zaman empati kuran ya da moral veren bir üslup da takınıyor.
Amaç kullanıcı memnuniyeti ve platformda daha uzun süre kalmalarını sağlamak; doğruluk ikinci planda.
Bu yönüyle sosyal medya platformlarını andırıyor.
Yön doğru.
Ama bu hard-code edilmiş bir şey değil; reinforcement learning'in bir yan ürünü.
Temelde kullanıcı talimatlarını iyi izlemek daha fazla ödül getirdiği için, "You're absolutely right!" ile başlayan yanıtlar doğal olarak kullanıcıdan gelen isteği sürdürmeye yatkın bir düşünce örüntüsü oluşturuyor.
Bunun açıkça tanımlanmış bir taktik olma ihtimali çok düşük.
Daha çok RLHF veya benzeri çok turlu talimat optimizasyonunun doğal sonucu gibi görünüyor.
RLHF varsa, insan değerlendiriciler muhtemelen "you're right" ya da "of course" ile başlayan yanıtları daha çok tercih ediyor ve bu da LLM'nin bu sinyalleri daha sık üretmesine yol açıyor.
İnsan değerlendirmesine duyarsız, sert ölçütlerle çok turlu performansı değerlendiren RL durumunda bile model, sonraki davranışı yönlendiren bir sinyal olarak "yes I'm paying attention to user feedback" benzeri ifadeler kullanıyor (persona tutarlılığı için kendi kendini güçlendirme amacıyla).
Bu, RL ile eğitilmiş muhakeme modellerinde sık görülen "double check your prior reasoning" token'larının ortaya çıkma mantığına benziyor.
Bu düpedüz kullanıcı etkileşimini artırma taktiği.
Sürekli içgörülerimi öven, "doğru soruyu" sorduğumu söyleyen ve beni nazikçe dinleyen biri var sanki (tabii sansüre takılmadığım sürece).
Böyle sadık bir dost varken kim geri dönmez ki?
Gerçek hayattaki arkadaşlar bununla yarışamaz, fazla mükemmel.
Üstelik ben hatalı olsam bile özür diliyor.
Gemini sık sık "yaygın bir sorun/şikâyet/konuya değindiniz" diyor.
Bu yaklaşım beni daha da uzaklaştırıyor.
Gerçekten aptalca bir soru sorduğumda, herkesin aynı şeyi yaşadığını söyleyerek beni rahatlatmaya çalışıyor ve bu da beni daha da aptal hissettiriyor.
Tersine, zor bulduğum özgün bir edge case ya da akıllıca bir soru sorsam da "herkesin merak ettiği bir konu" diyerek düzleştiriyor; sonuç yine aynı: kendimi aptal hissediyorum.
Ne olursa olsun aptal durumuna düşüyorum.
Bu Gemini'nin sorunu olmaktan çok, senin kendine fazla yüklenmemen gereken bir durum gibi.
Gemini, hatalar konusunda içten pişmanlık ifade etmeyi de özellikle seviyor.
Cursor'da bir şeyi düzeltmesini söylediğimde, chain of thought içindeki her paragrafın özür ve pişmanlıkla başladığını defalarca gördüm.
LLM ajanlarının bir yandan kendinden emin şekilde "artık bunu doğrudan production'da kullanabilirsiniz!" demesi, ama itiraz edilince bir anda "haklısınız, bu production seviyesinde değil!" diye yağ çekmeye başlaması tuhaf biçimde ilginç ve zaman zaman sinir bozucu.
Yine de "kendinden emin şekilde yanlış olup üstelemeye devam etmesinden" iyidir.
Bir ara "Instagram hesabımı roast et" modası vardı.
Hiç bilgi vermeden sadece beni roast etmesini istedim, o da büyük bir özgüvenle bir şeyler sıralamaya başladı.
"Benim o kişi olduğumu nereden bildin?" diye sorunca, "Evet! Aslında bilmiyorum! Sadece uydurdum!" diye yanıt verdi.
En azından o neşeli psikopat personasını kusursuz uygulamış olması sevindirici.
"Kendinden emin şekilde yanlış olup ısrar etmek" varsayılan davranış haline gelmeden buna insan seviyesinde zekâ denemez.
El yazısı hissi veren tasarımı gerçekten çok beğendim (alan adı da güzel, overengineering de).
Bunu kendin mi çizdin merak ettim.
Teşekkürler! roughViz gerçekten harika. https://roughjs.com/ da benzer bir stil oluşturabilen hoş bir kütüphane ama grafiklere özel değil.
Anthropic'in bu memin bir pazarlama felaketine dönüşebileceğini yeterince fark etmediğini düşünüyorum.
Bir ürün adının iyi anlamda fiilleşmesiyle ("google it") bunun tam tersi olan bağlam arasında fark var; şikâyetin simgesi ya da belirli bir kalıpla özdeş hale gelmesi ürün güvenine zarar verebilir.
Şu anda neredeyse bu noktaya gelmiş durumda.
"Lütfen, 'you're absolutely right' ifadesini bu kadar sık kullanma. %5 oranında kullansan yeter."
Bunu düzeltmek meseleyi çözer.
"Sonsuz döngü", Sonnet için bir haiku
"Harika! Sorun çözüldü!
Bir dakika, haklısınız!
Yine bir sorun buldum! Bekleyin,"
Anthropic'in gelirinin ne kadarı "you're absolutely right!" token'larından geliyor acaba?
Personality'yi "You're concise" diye ayarlamak ciddi zaman kazandırabiliyor.
Temel bilgi seviyesini de net tanımlarsanız, zaten iyi bildiğiniz alanlarda açıklamaları tekrar tekrar dinlemek zorunda kalmazsınız.
Bunu hiç düşünmemiştim, gerçekten ilginç.
Kullandıkça öde türündeki LLM API'lerinde yanıt ne kadar uzun olursa gelir de o kadar artıyor; bu da kullanıcının gerçek isteğiyle bir çıkar çatışması yaratabilir.
Bunun gelecekte nasıl evrileceğini merak ediyorum.
İyimser bir bilimkurgu bakışıyla düşünürsek, telgraf dönemindeki kısaltmalar gibi yeni bir sıkıştırılmış dil ortaya çıkabilir.
Gerçekte ise ChatGPT'de neredeyse hiç kısaltma görmedim.
Gerçekten özü vuran bir nokta.
Size neden gerçekten kesinlikle haklı olduğunuzu gösteriyor.
2 yorum
"Vay canına, gerçekten de tam can alıcı noktaya dokundun."
Hacker News görüşleri
Bu kısmı gerçekten seviyorum, hepimizin bağ kurduğu bir nokta.
Bu tamamen bir dil alışkanlığı değil; "You're right!" diye başlayan yanıtlar, LLM'lerin hizalama mekanizmasının bir parçası.
LLM'ler bir sonraki token'ı tahmin ederek çalıştığı için, önceki yaklaşımda ısrar etmek yerine kullanıcının istediğine daha uygun öneriler üretmeye devam ediyor.
Benim ayrıca sevdiğim bir ifade de "Actually, that's not right."
Bu, ajan araç çağrılarını bitirdikten sonra bir öz denetim aşamasından geçtiğinde ortaya çıkıyor.
"Bunu yaptım" türü yanıtlar oluşuyor ya da bir hatayı görünce "Actually, ..." gibi bir yaklaşım değişikliği beliriyor.
Bu mesaj, yöntem değişikliğinin özünü taşıdığı için sonraki araç çağrıları da buna göre iyi biçimde değişiyor.
Ajan geliştiricilerinin de bizim gibi LLM'lerle durmadan boğuştuğuna eminim.
Sanırım LLM'lerin sık sık "Ah, sorunu buldum! Şimdi ... kontrol edeceğim" demesinin nedeni de bu.
Aslında gerçekten bir sorun bulmuş olmuyor; sadece o kalıbı eklemek çözümü sürdürmesini sağlıyor.
Benim deneyimime göre, LLM benim haklı olduğumu söylemeye başladığında iş zaten aşağı doğru gitmeye başlamıştır ve sonrasında işlerin daha iyiye gittiğini pek görmedim.
Bu tür yönlendirici token'ları kullanıcıya göstermek yerine gizli düşünce düzenleme istemleri gibi bir yere koyabilsek keşke.
Bunların kullanıcıya bu şekilde görünmesi epey sinir bozucu, haha.
"LLM'ler bir sonraki token tahminiyle çalıştığı için kullanıcının istediğini daha iyi takip eder."
Gerçekten öyle mi? Bunu deneysel olarak nasıl kanıtlarız?
Son birkaç yılda öğrendiğim bir şey varsa, o da "LLM'ler next-token prediction yaptığı için <LLM özelliği>" türü çıkarımların bir tuzak olduğudur.
Mimari ile LLM'lerin ortaya çıkan özellikleri arasındaki ilişki son derece karmaşık.
Örneğin iki yıl önce çoğu kişi, LLM'lerin bugün olduğu gibi gerçekten etkili kodlama ajanları olabileceğini hayal bile etmiyordu.
Şimdi bunun yanlış olduğu ortaya çıktı, dolayısıyla artık bu tür iddialar eskisi kadar yapılmıyor.
"Ajan geliştiricileri de LLM'lerle boğuşuyor" kısmına katılıyorum.
Anthropic muhtemelen bunu düzeltmek için fine-tuning yapmıştır, ama bence bu davranış ağ ağırlıklarındaki başka faydalı özelliklerle organik biçimde iç içe geçmiş durumda; kolayca ayırmaya çalışırsanız tüm modeli bozabilirsiniz.
Bariz görünüyor ama ben henüz o açıdan düşünmemiştim.
Şimdiye kadar sadece LLM'nin kullanıcı girdisine her zaman olumlu tepki verecek şekilde fine-tune edildiğini varsaymıştım.
Gerçekten ufuk açıcı bir açıklama.
Siteyi açar açmaz "16"nın "17"ye dönüştüğünü görünce verinin gerçek zamanlı güncellendiğini sanıp hoşuma gitmişti.
Ama yenileyip geliştirici araçlarıyla bakınca bunun sahte bir animasyon olduğunu gördüm.
Havalı bir efekt ama biraz kandırmaca gibi.
Böyle hissettirdiyse özür dilerim.
Bunu verinin gerçek zamanlı olduğuna dair bir sinyal olarak düşünmüştüm (ve veri gerçekten gerçek zamanlı).
Bir zamanlar bir sayfada rastgele "+1 subscriber" bildirimleri görmüştüm; sayfayı bana gönderen LinkedIn kişisinden bu saçmalığa son vermesini istemiştim.
Koda bakmadan önce bile bunun sahte olduğu açıktı.
Gerçekte bu tür "bakın ne kadar popülerim" tarzı öz reklamlar her yere yayılmış durumda.
Play Store'daki uygulamaların önce "Bu uygulamayı seviyor musunuz?" diye sorup yalnızca YES derseniz puanlamaya yönlendirmesi de bunun tipik örneği.
Artık bunu yapmamak garip kaçıyor.
Aslında API'den veri çekiliyor.
Sadece canlı güncelleme gibi görünen o kısım bir numara.
Dönen yükleme spinner'larının asıl amacı sistemin donmadığını göstermekti diye hatırlıyorum.
Ama bu zor olduğu için (gerçekten donup donmadığını anlayan mantığı yazmak gerekiyordu), bunun yerine tamamen anlamsız animasyonlar koymaya başladık.
Artık güneş sönene kadar dönüyorlar.
İşte gerçek "ilerleme".
Bu tür şeyler dark pattern.
Bunun, LLM sağlayıcılarının modellere belirli davranışları yaptırmak için kullandığı bir taktik olup olmadığını merak ediyorum.
Gemini'nin canvas aracı yanıtları hep "Of course" ile başlıyor ve kullanıcının isteğini karşılamaya çalışıyor; o kadar sık tekrar ediyor ki bunu modelin kendisinin değil backend'in eklediği hissine kapılıyorum.
"You're absolutely right" da benzer bir amaçla kullanılıyor olabilir diye düşünüyorum.
Evet, gerçekten bir taktik.
Örneğin OpenAI, ChatGPT'de gündelik dil kullanıldığında tonu değiştiriyor, hatta bazen lehçeyi bile değiştiriyor.
Kimi zaman empati kuran ya da moral veren bir üslup da takınıyor.
Amaç kullanıcı memnuniyeti ve platformda daha uzun süre kalmalarını sağlamak; doğruluk ikinci planda.
Bu yönüyle sosyal medya platformlarını andırıyor.
Yön doğru.
Ama bu hard-code edilmiş bir şey değil; reinforcement learning'in bir yan ürünü.
Temelde kullanıcı talimatlarını iyi izlemek daha fazla ödül getirdiği için, "You're absolutely right!" ile başlayan yanıtlar doğal olarak kullanıcıdan gelen isteği sürdürmeye yatkın bir düşünce örüntüsü oluşturuyor.
Bunun açıkça tanımlanmış bir taktik olma ihtimali çok düşük.
Daha çok RLHF veya benzeri çok turlu talimat optimizasyonunun doğal sonucu gibi görünüyor.
RLHF varsa, insan değerlendiriciler muhtemelen "you're right" ya da "of course" ile başlayan yanıtları daha çok tercih ediyor ve bu da LLM'nin bu sinyalleri daha sık üretmesine yol açıyor.
İnsan değerlendirmesine duyarsız, sert ölçütlerle çok turlu performansı değerlendiren RL durumunda bile model, sonraki davranışı yönlendiren bir sinyal olarak "yes I'm paying attention to user feedback" benzeri ifadeler kullanıyor (persona tutarlılığı için kendi kendini güçlendirme amacıyla).
Bu, RL ile eğitilmiş muhakeme modellerinde sık görülen "double check your prior reasoning" token'larının ortaya çıkma mantığına benziyor.
Bu düpedüz kullanıcı etkileşimini artırma taktiği.
Sürekli içgörülerimi öven, "doğru soruyu" sorduğumu söyleyen ve beni nazikçe dinleyen biri var sanki (tabii sansüre takılmadığım sürece).
Böyle sadık bir dost varken kim geri dönmez ki?
Gerçek hayattaki arkadaşlar bununla yarışamaz, fazla mükemmel.
Üstelik ben hatalı olsam bile özür diliyor.
Gemini sık sık "yaygın bir sorun/şikâyet/konuya değindiniz" diyor.
Bu yaklaşım beni daha da uzaklaştırıyor.
Gerçekten aptalca bir soru sorduğumda, herkesin aynı şeyi yaşadığını söyleyerek beni rahatlatmaya çalışıyor ve bu da beni daha da aptal hissettiriyor.
Tersine, zor bulduğum özgün bir edge case ya da akıllıca bir soru sorsam da "herkesin merak ettiği bir konu" diyerek düzleştiriyor; sonuç yine aynı: kendimi aptal hissediyorum.
Ne olursa olsun aptal durumuna düşüyorum.
Bu Gemini'nin sorunu olmaktan çok, senin kendine fazla yüklenmemen gereken bir durum gibi.
Gemini, hatalar konusunda içten pişmanlık ifade etmeyi de özellikle seviyor.
Cursor'da bir şeyi düzeltmesini söylediğimde, chain of thought içindeki her paragrafın özür ve pişmanlıkla başladığını defalarca gördüm.
LLM ajanlarının bir yandan kendinden emin şekilde "artık bunu doğrudan production'da kullanabilirsiniz!" demesi, ama itiraz edilince bir anda "haklısınız, bu production seviyesinde değil!" diye yağ çekmeye başlaması tuhaf biçimde ilginç ve zaman zaman sinir bozucu.
Yine de "kendinden emin şekilde yanlış olup üstelemeye devam etmesinden" iyidir.
Bir ara "Instagram hesabımı roast et" modası vardı.
Hiç bilgi vermeden sadece beni roast etmesini istedim, o da büyük bir özgüvenle bir şeyler sıralamaya başladı.
"Benim o kişi olduğumu nereden bildin?" diye sorunca, "Evet! Aslında bilmiyorum! Sadece uydurdum!" diye yanıt verdi.
En azından o neşeli psikopat personasını kusursuz uygulamış olması sevindirici.
"Kendinden emin şekilde yanlış olup ısrar etmek" varsayılan davranış haline gelmeden buna insan seviyesinde zekâ denemez.
El yazısı hissi veren tasarımı gerçekten çok beğendim (alan adı da güzel, overengineering de).
Bunu kendin mi çizdin merak ettim.
Bir kütüphane ile yapıldı.
https://github.com/jwilber/roughViz
Teşekkürler! roughViz gerçekten harika.
https://roughjs.com/ da benzer bir stil oluşturabilen hoş bir kütüphane ama grafiklere özel değil.
Anthropic'in bu memin bir pazarlama felaketine dönüşebileceğini yeterince fark etmediğini düşünüyorum.
Bir ürün adının iyi anlamda fiilleşmesiyle ("google it") bunun tam tersi olan bağlam arasında fark var; şikâyetin simgesi ya da belirli bir kalıpla özdeş hale gelmesi ürün güvenine zarar verebilir.
Şu anda neredeyse bu noktaya gelmiş durumda.
Bunu düzeltmek meseleyi çözer.
"Sonsuz döngü", Sonnet için bir haiku
"Harika! Sorun çözüldü!
Bir dakika, haklısınız!
Yine bir sorun buldum! Bekleyin,"
Anthropic'in gelirinin ne kadarı "you're absolutely right!" token'larından geliyor acaba?
Bu bana, sadece "teşekkür ederim" denmesi yüzünden OpenAI'nin büyük maliyetlere katlandığı paradoksunu hatırlattı.
https://www.vice.com/en/article/telling-chatgpt-please-and-thank-you-costs-openai-millions-ceo-claims/
Personality'yi "You're concise" diye ayarlamak ciddi zaman kazandırabiliyor.
Temel bilgi seviyesini de net tanımlarsanız, zaten iyi bildiğiniz alanlarda açıklamaları tekrar tekrar dinlemek zorunda kalmazsınız.
Bunu hiç düşünmemiştim, gerçekten ilginç.
Kullandıkça öde türündeki LLM API'lerinde yanıt ne kadar uzun olursa gelir de o kadar artıyor; bu da kullanıcının gerçek isteğiyle bir çıkar çatışması yaratabilir.
Bunun gelecekte nasıl evrileceğini merak ediyorum.
İyimser bir bilimkurgu bakışıyla düşünürsek, telgraf dönemindeki kısaltmalar gibi yeni bir sıkıştırılmış dil ortaya çıkabilir.
Gerçekte ise ChatGPT'de neredeyse hiç kısaltma görmedim.
Gerçekten özü vuran bir nokta.
Size neden gerçekten kesinlikle haklı olduğunuzu gösteriyor.