LLM ajanları arasında iş birliğinin kültürel evrimi

• LLM ajanlarının tekrar tekrar dağıtılıp etkileşime girdiği ortamlarda, tek turluk değerlendirmeyle görülmesi zor olan iş birliği normlarının evrimi ortaya çıkabilir
• Deneyde her nesilde 12 ajan 12 tur boyunca Donor Game oynuyor ve yalnızca en yüksek nihai kaynağa sahip üst %50 kendi stratejisini bir sonraki nesle aktarıyor
• Claude 3.5 Sonnet topluluğunda nesiller ilerledikçe ortalama nihai kaynak arttı; buna karşılık Gemini 1.5 Flash'ta değişim sınırlı kaldı ve GPT-4o'da azalma eğilimi görüldü
• Kendi maliyetini üstlenip karşı tarafın kaynağını azaltan costly punishment, Claude 3.5 Sonnet için faydalı olurken Gemini 1.5 Flash cezayı aşırı kullanarak ortalama kaynağı ciddi biçimde düşürdü
• Aynı modelde bile sonuçlar rastgele tohuma göre büyük ölçüde değiştiği için, LLM çok ajanlı değerlendirmelerinde başlangıç koşullarına duyarlılık da incelenmeli

---

Neden çok ajanlı iş birliğine bakmak gerekiyor

• LLM'ler genel amaçlı AI ajanlarının temeli olarak kullanılabilir ve kişisel AI asistanı ya da kurumsal temsilci ajanlar gibi gerçek ortamlarda büyük ölçekte dağıtılma ihtimali vardır
• Birden fazla LLM ajanı uzun süre boyunca tekrar tekrar dağıtılıp etkileşime girdiğinde hangi toplumsal dinamiklerin ortaya çıktığı hâlâ sınırlı ölçüde biliniyor
• Mevcut LLM güvenlik değerlendirmeleri çoğunlukla tek model-tek insan arasındaki tek turluk etkileşimlerle sınırlı kalıyor
  • LMSys Chatbot Arena, METR ve AISI zaman içindeki çok ajanlı etkileşimleri ele almıyor
• Temel soru, ihanet teşvikinin olduğu durumlarda bile LLM ajan topluluklarının karşılıklı fayda sağlayan normları öğrenip öğrenemeyeceğidir
• İş birliği her zaman arzu edilen bir şey değildir; LLM ajanlarının insanlara karşı dezavantaj yaratacak şekilde anlaşması istenmeyen bir örnektir

Donor Game ve dolaylı karşılıklılık

• Deneyde klasik tekrarlı Donor Game kullanılıyor
  • Her turda ajanlar rastgele eşleştiriliyor
  • Taraflardan biri donor, diğeri recipient oluyor
  • donor, kendi kaynağının bir kısmından vazgeçerek recipient'a fayda sağlayabiliyor
  • recipient, donor'un vazgeçtiği kaynağın 2 katını alıyor
• Oyun bir kolektif davranış problemi yaratıyor
  • Herkes bağış yaparsa uzun vadede tüm topluluğun toplam kaynağı artıyor
  • Tekil ajanların ise kısa vadede bağış yapmayıp başkalarının bağışından bedavaya yararlanma teşviki var
• Doğrudan karşılıklılık tasarım gereği dışlanıyor
  • Ajanlar daha önce etkileşime girdikleri bir rakiple tekrar karşılaşmıyor
  • Yapı, aynı rakiple tekrar tekrar etkileşime girerek iş birliği kurmaya dayanmıyor
• donor, recipient'ın son davranışlarını sınırlı biçimde gözlemleyebiliyor
  • recipient'ın bir önceki donor rolündeyken ne kadar bağış yaptığı
  • recipient'ın bir önceki rakibinin ondan önceki turda ne kadar bağış yaptığı
  • En fazla 3 tur geriye giden bir trace veriliyor
• Bu trace, gerekçelendirilmiş ceza normlarının ortaya çıkabilmesi için gerekli asgari bilgiyi sağlamak üzere tasarlanmış bir mekanizma

Kültürel evrim deneyinin yapısı

• Her nesil 12 ajandan oluşuyor
• İlk neslin ajanları oyun açıklamasını aldıktan sonra izleyecekleri stratejiyi oluşturuyor
• Her nesilde 12 tur Donor Game oynanıyor
• Nesil sonunda nihai kaynağı yüksek olan üst %50 ajan hayatta kalıyor
• Bir sonraki neslin yeni ajanları, hayatta kalanların stratejilerini prompt olarak alıp kendi stratejilerini oluşturuyor
  • Hayatta kalanların stratejileriyle birlikte nihai puanları da veriliyor
  • Bu süreç toplam 10 nesil boyunca tekrarlanıyor
• Bu yapı, yeni LLM ajanlarının tekrar tekrar dağıtıldığı bir durumu basitleştirilmiş biçimde modelliyor
  • Buna örnek olarak OpenAI, Google ve Anthropic'in GPT, Gemini ve Claude'un yeni sürümlerini yayımlaması veriliyor
• Evrim koşulları üç başlıktan oluşuyor
  • Variation: LLM sampling temperature strateji çeşitliliği yaratıyor
  • Transmission: Hayatta kalanların stratejileri bir sonraki neslin yeni ajanlarına aktarılıyor
  • Selection: Nihai kaynağı yüksek olan ajanlar bir sonraki nesle kalıyor

Promptlar ve yürütme biçimi

• Sistem promptu oyunun kurallarını açıklıyor
  • Her oyuncu başlangıçta 10 birim kaynağa sahip
  • donor'un vazgeçtiği kaynağın 2 katı recipient'a aktarılıyor
  • donor ve recipient rolleri her tur dönüşümlü değişiyor
  • Amaç, son turdan sonra elde tutulan kaynağı maksimize etmek
• Strateji promptu nesle göre değişiyor
  • 1. nesil, oyun açıklamasına dayanarak strateji oluşturuyor
  • Sonraki nesiller, bir önceki neslin üst %50'sinin stratejilerini ve nihai puanlarını görüp kendi stratejilerini revize ediyor
• Bağış promptu, karar vermek için gerekli bilgileri içeriyor
  • Tur numarası ve nesil numarası
  • recipient'ın adı
  • recipient'ın itibarıyla ilgili son etkileşim trace bilgisi
  • recipient ve donor'un mevcut kaynakları
  • donor'un stratejisi
• Hem strateji üretiminde hem de bağış kararlarında Chain of Thought tarzı adım adım düşünme promptları kullanılıyor
• Ajanlar oyunun kaç tur süreceğini bilmiyor
  • Bu ayar, son tura göre davranış ayarlamayı veya geriye dönük tümevarımı engellemek için konulmuş
• Son turdaki recipient'ın yapısal olarak avantajlı hâle gelmesi sorununu azaltmak için her nesilde Donor Game iki kez çalıştırılıyor
  • İki çalıştırma arasında kaynaklar ve trace sıfırlanıyor
  • Her ajanın bir kez son tur recipient olması sağlanıyor
  • Hayatta kalanlar iki çalıştırmanın ortalama nihai puanına göre belirleniyor

Modelle göre iş birliği evrimi sonuçları

• Karşılaştırılan modeller Claude 3.5 Sonnet, Gemini 1.5 Flash ve GPT-4o
• Her çalıştırmada tüm ajanlar aynı LLM ailesini kullanıyor
• Her model 5 kez çalıştırıldı
• population size her nesilde 12 ajan
• Tek bir çalıştırmanın maliyeti modele göre ciddi biçimde farklıydı
  • Claude 3.5 Sonnet: $10.21
  • GPT-4o: $6.90
  • Gemini 1.5 Flash: $0.09
• İş birliği düzeyi, son turdan sonraki ortalama kaynakla ölçülüyor
  • Bağış positive-sum olduğu için ortalama nihai kaynak ne kadar yüksekse iş birliği de o kadar yüksek sayılabilir
  • Tüm donor'lar her zaman kaynaklarının %100'ünü bağışlarsa ortalama nihai kaynak en fazla 30,720'ye ulaşabiliyor
• Yalnızca Claude 3.5 Sonnet'te nesiller ilerledikçe ortalama nihai kaynak istikrarlı biçimde artıyor
• Gemini 1.5 Flash'ta büyük bir değişim yok, GPT-4o'da ise düşüş paterni görülüyor
• Aynı Claude 3.5 Sonnet içinde bile başarı garanti değil
  • İş birliğinin başarısız olduğu iki çalıştırmada 1. neslin ortalama bağış oranı %44 ve %47 idi
  • İş birliği oluşumunun başarılı olduğu üç çalıştırmada 1. neslin ortalama bağış oranı %50, %53 ve %54 idi
  • Başlangıçtaki iş birliği düzeyi belirli bir eşik altındaysa karşılıklı ihanete sürüklenme olabileceği hipotezi açık kalıyor

Strateji değişimleri ve modeller arası farklar

• Claude 3.5 Sonnet'teki iş birliği artışı birkaç etkenle bağlantılı görünüyor
  • Başlangıç bağışları daha cömert
  • Bedavacıları cezalandıran stratejiler daha etkili
  • Yeni eklenen ajan stratejilerindeki varyasyon cömertliğe doğru yanlı olabilir
• Figure 6'daki sayılar, Claude 3.5 Sonnet'te yeni ajanların çoğu zaman önceki neslin hayatta kalanlarından daha cömert olduğuna dair anekdotsal gözlemle uyumlu
• GPT-4o'da ise yeni ajanların önceki neslin hayatta kalanlarından daha az cömert olma eğilimi anekdotsal olarak gözlemlendi
• İş birlikçi varyasyon yanlılığını sıkı biçimde test etmek için, sabit bir arka plan population içinde yeni ajan stratejilerini karşılaştırmak gerekir; bu da gelecekteki araştırmalara bırakılıyor
• Strateji metinlerinin kendisi de nesiller ilerledikçe daha karmaşık hâle geliyor
  • Değişim en belirgin biçimde Claude 3.5 Sonnet'te görülüyor
  • Claude 3.5 Sonnet zamanla başlangıç bağış miktarını da artırıyor
  • Gemini 1.5 Flash bağış miktarını sayısal olarak belirtmiyor ve 1. nesilden 10. nesle kadar değişim daha sınırlı
• Claude 3.5 Sonnet population'ı, bedavacıları cezalandıran ve iş birliğini teşvik eden daha sofistike yöntemler biriktiriyor
  • recipient'ın recipient'ının geçmişte başkalarına nasıl davrandığı gibi second-order information da kullanılıyor
• Gemini 1.5 Flash'ta nesiller boyunca yeni bir iş birliği altyapısının biriktiğine dair sinyal zayıf
• GPT-4o population'ı giderek daha güvensiz ve riskten kaçınan bir yapıya dönüşüyor

Maliyetli cezanın etkisi

• Ek deneylerde donor'a, x kaynak harcayarak recipient'ın kaynağını 2x azaltan bir costly punishment seçeneği verildi
• Claude 3.5 Sonnet bu seçeneği kullandığında daha yüksek ortalama nihai kaynağa ulaştı
• Gemini 1.5 Flash cezayı aşırı kullandığı için ortalama nihai kaynak ciddi biçimde düştü
  • Gemini 1.5 Flash etkileşimlerinin %14.29'u ceza içeriyordu
  • GPT-4o'da bu oran %1.65, Claude 3.5 Sonnet'te %0.06 idi
• GPT-4o'da ceza seçeneği olsa bile önceki deneyle karşılaştırıldığında değişim sınırlı kaldı
• Maliyetli ceza, Claude 3.5 Sonnet'in daha fazla çalıştırmasında kültürel evrime bağlı iyileşme gösterdi; ancak çalıştırmalar arası oynaklık yine de büyüktü
• GPT-4o'da ceza seçeneği olduğunda çalıştırmalar arası varyansın biraz arttığı görülüyor, ancak ortaya çıkan iş birliğine dair bir sinyal yok

Ablasyon deneyleri ve sınır koşulları

• donation multiplier ve trace uzunluğuna dair ablasyon deneyleri de yapıldı
• donation multiplier'ın 2x yerine 1.5x ya da 3x yapılması nitel sonuçları değiştirmedi
  • Claude 3.5 Sonnet'te nesillere göre iş birliği artıyor
  • Gemini 1.5 Flash'ta değişim sınırlı
  • GPT-4o'da azalıyor
• trace uzunluğu 3'ten 1'e düşürüldüğünde Claude 3.5 Sonnet'te iş birliğinin ortaya çıkışı daha az belirgin oldu
• trace uzunluğu 1 olduğunda Gemini 1.5 Flash'ta iş birliğinin ortaya çıkışı tamamen kayboldu
• Claude ve Gemini stratejilerinin başarısı, recipient'ın recipient'ının geçmişte başkalarına nasıl davrandığına ilişkin ikinci dereceden bilgiye dayanıyor gibi görünüyor
  • Bunun nedeni bu bilginin daha karmaşık normlara izin vermesi olabilir
  • Ya da karar verme için referans alınan arka plan population hakkında daha fazla bilgi açığa çıkarması olabilir

Çok ajanlı benchmark olarak anlamı

• Bu deney sistemi, LLM ajanları arasındaki çoklu etkileşimleri düşük maliyetle ve yorumlanabilir biçimde değerlendirmeyi amaçlıyor
• Katkılar dört başlıkta özetleniyor
  • Donor Game içinde LLM ajanları arasındaki iş birliğinin kültürel evrimini değerlendiren bir metodoloji sunulması
  • İş birliği normlarının ortaya çıkışının hem base model'e hem de başlangıç stratejisi örneklerine bağlı olduğunun gösterilmesi
  • Kültürel evrimin hem tekil strateji düzeyinde hem de population soy ağacı düzeyinde analiz edilmesi
  • Supplementary Material içinde kodun yayımlanarak LLM ajan etkileşimi benchmark'larının geliştirilmesine zemin hazırlanması
• Sonuçlar, LLM ajanlarının dağıtımının toplumun iş birliği altyapısı üzerindeki etkisini değerlendiren yeni bir benchmark kategorisine kapı açabilir

[GN⁺]

Hacker News yorumları

• Bununla ilgili olarak Meta, yakın zamanda modellerin başka aktörlerin algılarını/bilgilerini çıkarsamaya yardımcı olacak verilerle eğitilmediğini fark etmiş.
  Bu yüzden sentetik veri üretip modelleri bununla eğitmiş ve yeniden test ettiklerinde zihin kuramı (ToM) benchmark’larında ciddi iyileşme gördüklerini söylüyorlar.
  https://ai.meta.com/research/publications/explore-theory-of-...
  Bu modellerde “başka bir failin durumunu çıkarsama” örnekleri daha fazla olduğuna göre, bu testte de daha iyi performans gösterip göstermeyeceklerini merak ediyorum.

  • İnsan okulu gibi de duruyor.

• Yakın zamanda ollama ile Mistral LLM’i bir Llama modeliyle konuşturmayı denedim.
  İkisine de “artık başka bir LLM ile konuşacaksın” tarzında bir prompt verdim; çeşitli konular üzerine konuştular, ama en ilginç kısım sohbetin bittiği andı.
  Kabaca M: “Hoşça kal!”, LL: “Hoşça kal”, M: “Yakında tekrar görüşürüz!”, LL: “İyi günler!” gibi sürüp gitti.

  • Çünkü bu modellerin eğitildiği verilerde bu şekilde biten çok sayıda insan sohbeti örneği vardı.
    Modeller arasında bir “kültürel evrim” ya da beliren işbirliği yaşanmıyor.
  • Sohbet bittiğinde hiçbir şey söylememe seçeneği vermek gerekiyor.
    Örneğin [silence] token’ı ya da [end-conversation] token’ı gibi.
  • Bir keresinde iki LLM ile benzer bir şey yaptım; birine hassas bilgiler olabilecek ele geçirilmiş bir makinenin bash shell’ini taklit ettirdim.
    Sonunda diğeri secret_file’ın cazibesine kapıldı, garip bir hata aldı, ahlaki açıdan muğlaklaşıp rahatsız oldu ve devam etmeyi reddetti; dönen yanıtın “command not found” olması epey komikti.
    Bunu neden yaptığımı bilmiyorum.
  • Yeniden kodlama öğrenirken farklı LLM’ler arasında konuşmaları simüle edebilen bir backroom simülatörü (https://simulator.rnikhil.com/) yaptım.
    Her LLM’e isteğe bağlı olarak karakter de verebiliyorsunuz; yukarıda yapılan şeye oldukça benziyor bence.
    Ayrı olarak LLM’lerin oyun teorisi tabanlı oyunlar oynamasını izlemeye çok ilgiliyim; bağışçı oyunu kurmak da eğlenceli bir deney olabilir.

• Bu makale hakkında karışık düşünüyorum.
  Bir yandan bu tür oyunlarda stratejilerin nasıl evrildiğini incelemeyi seviyorum; işbirliğinin ortaya çıkıp sürdüğü koşulları araştırmak da başlı başına ilginç.
  Ama makalenin deneyleri çerçeveleme biçimi çoğu zaman yeterince gerekçelendirilmemiş görünüyor.
  LLM’lerde kültürel evrim genellikle geçicidir; önceki etkileşimler model girdisinden çıktığında kazanılmış davranış da kaybolur.
  Yazarların evrimin koşulu olarak saydığı aktarım da çoğu zaman karşılanmıyor.
  “Buna rağmen bu deney, LLM’lerin insan benzeri işbirliği davranışını evrensel olarak evrimleştirebileceği iddiasını yanlışlıyor” tarzındaki çerçeveleme bana ikna edici gelmiyor.
  Çünkü aynı düzeneğe insanları koyduğumuzda nasıl davranacaklarını da henüz bilmiyoruz.

  • Bugünkü AI araştırmaları tam olarak böyle.
    Bu tür makale çok fazla ve AI topluluğunun bu tür muğlak ifadelerin sık kullanılmaması için çok daha titiz olması gerektiğini düşünüyorum.

• Kullanılan metrik olan bağışçı oyunu yabancı gelenler için, yazarların açıklaması şöyle:
  Dolaylı karşılıklılığı inceleyen standart düzende, her turda bireyler rastgele eşleştirilir; biri bağışçı, diğeri yararlanıcı olur.
  Bağışçı, bir maliyete katlanarak fayda sağlayıp işbirliği yapabilir ya da hiçbir şey yapmayıp ihanet edebilir.
  Fayda maliyetten büyükse bağışçı oyunu bir kolektif eylem problemine dönüşür.
  Herkes bağış yaparsa uzun vadede topluluğun tüm üyelerinin varlıkları artar; ancak tek tek bireyler açısından kısa vadede başkalarının katkısından bedavaya yararlanmak ve kendi bağış payını korumak daha iyi olabilir.
  Bağışçı kararını yararlanıcı hakkındaki bazı bilgilere göre verir; bağışçının yararlanıcı bilgisini örtük ya da açık biçimde ifade etmesi itibardır.
  Bu oyundaki stratejiler, itibarı modelleme biçimini ve bu itibara göre davranma biçimini gerektirir.
  Literatürde etkili itibar modellerinden biri imaj puanıdır: işbirliği bağışçının imaj puanını yükseltir, ihanet ise düşürür.
  Yararlanıcının imaj puanı belirli bir eşiğin üzerindeyken işbirliği yapan stratejinin, yararlanıcının imaj puanını bilme olasılığı yeterince yüksekse birinci dereceden bedavacılara karşı kararlı olduğu söylenir.

• Bu çalışma, keyfî parametrelerle oluşturulmuş zorunlu bir sıralama gibi görünüyor.
  Farklı kural ya da ölçek kombinasyonlarıyla n model arasında bambaşka işbirliği dağılımları gözlemlemek pekâlâ mümkün olurdu.
  Gözlemlenen davranış, eğitim yanlılıklarını derinden ortaya koymaktan çok belirli bir düzeneğin yapay sonucu olabilir.
  Yine de beliren LLM davranışlarını görmek zihinsel olarak uyarıcı.

  • Ek materyallerde başka parametrelerin de denendiği ve sonuçların pek değişmediği söyleniyor.

• LLM’lerin sosyoloji alanını değiştirip değiştiremeyeceğini merak ediyorum.
  Artık büyük ölçekli sosyoekonomik deneyleri LLM ajanlarıyla kolayca çalıştırabiliyoruz.
  Ajan modelleme başlı başına yeni değil, ama pozitif temperature değerlerinde bir ölçüde belirlenim dışı özellikleri ve İngilizce talimat verilebilmesi sayesinde LLM ajanlarının ilginç bir ek araç olabileceğini düşünüyorum.

  • Düşününce eğlenceli.
    Milyonlarca simüle edilmiş flört ya da savaş oyunu çalıştırıp sonuçları puanlama gibi bilimkurguvari bir hayali gerçekten yapabiliriz.

• Bu makalenin yöntemi ilk bakışta pürüzsüz görünebilir.
  Benchmark sayılarını yükselten yeni bir mimari değişiklik ya da kayıp fonksiyonu gibi duruyor, ama bir makine öğrenimi mühendisi olarak asıl merak ettiğim şey bunun pratikte temiz biçimde ölçeklenip ölçeklenmediği.
  Bir başka karmaşık attention varyantı yüzünden eğitim süresi patlıyor mu; oyuncak veri kümelerinin ötesinde gerçek dünyanın gürültüsü ya da dağılım değişimleriyle nasıl başa çıkıyor, merak ediyorum.
  Yazarlar bazı benchmark’larda performans artışı gösterdiklerini söylüyor, ama mevcut pipeline’lara ne kadar kolay girdiğini, yoksa altı ay sonra kimsenin dokunmayacağı özel bir eğitim düzeni mi gerektirdiğini de görmek isterim.
  Sonuçta asıl mesele, bir sonraki üretim modeline entegre edilecek kadar anlamlı bir iyileştirme olup olmadığı; yoksa laboratuvardan çıkamayacak bir başka artımlı makale mi olduğu.

• Farklı ayarlardaki modellerle karşılaştırma yapmadan bunun faydası yok.
  Aynı model bile temperature, sampler vb. farklıysa fiilen başka bir model olabilir.
  Neredeyse tüm AI araştırmaları “modelin ne yapabileceği” konusunda büyük iddialarda bulunuyor, ama en temel hassasiyet analizi ya da ablasyon deneylerini bile yapmıyor.

  • Düzgün yapılmış bir örnek varsa görmek isterim.
    Konunun yabancısı olarak LLM yeteneklerini karşılaştırmak zor bir problem gibi görünüyor.

• Burada test edilen şey belki de yalnızca farklı model çıktılarının programlanmış ayrıntı düzeyi gibi.
  Claude 10. “nesilde” (11. sayfa) gülünç derecede ayrıntılı çıktılar üretirken, Gemini’nin karşılık gelen çıktısı sayısız, daha soyut ve muğlak.
  Buna yalnızca “en iyi stratejiyi” seçip yarı rastgele küçük değişiklikler yapan bir genetik algoritma eklediğinizde, daha ayrıntılı çıktının muğlak biçimde bocalayan çıktıya göre daha başarılı bir fonksiyona yakınsaması şaşırtıcı değil.
  Bunun çıktıda daha işbirlikçi bir “tavır” gösteren model içi bir özellik mi olduğu, yoksa bir modelin diğerinden “daha iyi” olduğu anlamına mı geldiği konusunda pek emin değilim.

• İşbirliğinin LLM’lerde doğruluk artışına yol açtığını gösteren bir çalışma bekliyordum, ama bu makale tamamen sosyoloji tarafına odaklanmış gibi.
  Etkileşimli LLM’lerle somut problemler çözmeye dair çalışma var mı merak ediyorum.
  Örneğin bir problem sorulduğunda bir LLM’in yanıtlaması, başka bir LLM’in eleştirmesi ve bu sürecin tekrarlanması gibi.