- Yalnızca GSM8K puanındaki artışa bakarak LLM’lerin gerçek matematiksel akıl yürütme yeteneğini değerlendirmek zor; GSM-Symbolic, aynı problem yapısının farklı varyasyonlarıyla daha kontrollü bir değerlendirme yapılmasını sağlıyor
- Bu benchmark, GSM8K problemlerini sembolik şablonlara dönüştürerek adları, sayıları ve koşul cümlesi sayısını ayarlıyor; 100 şablonun her biri için 50 örnek üreterek benchmark başına 5.000 örnekten oluşuyor
- 25 güncel açık ve kapalı modelde, aynı problem yapısında yalnızca sayılar değiştiğinde bile performans düştü ve varyans arttı; orijinal GSM8K puanı, 25 modelin 21’inde GSM-Symbolic dağılımının sağında yer aldı
- Koşul cümleleri arttıkça doğruluk düştü ve varyans büyüdü; Gemma2-9B-it GSM-M1’de %84,4’ten GSM-P2’de %41,8’e, GPT-4o ise %94,4’ten %88,0’a geriledi
- Alakasız ama ilgili gibi görünen cümlelerin eklendiği GSM-NoOp’ta tüm modellerin performansı belirgin biçimde düştü; Phi-3-mini, GSM8K’ya kıyasla 65,7 yüzde puan daha düşük sonuç alarak gerekli ve gereksiz bilgiyi istikrarlı biçimde ayırt edemedi
Yalnızca GSM8K ile görülmesi zor matematiksel akıl yürütme yeteneği
- GSM8K, 8.000’den fazla ilkokul matematik problemi ve çözümünü içerir; 7.473 eğitim örneği ve 1.319 test örneğinden oluşur
- Dört işlem ağırlıklı görece basit matematik problemlerinden oluştuğu için Chain-of-Thought(CoT) prompting değerlendirmelerinde yaygın olarak kullanılır
- Tek ve sabit bir test seti yapısında yalnızca bir doğruluk değeri elde edilebilir; bu yüzden soru varyasyonlarına veya zorluk değişimlerine göre model davranışını kontrollü biçimde incelemek zordur
- Bir benchmark ne kadar yaygın kullanılırsa, test örneklerinin model eğitim verisine tesadüfen dahil olmuş olma, yani veri kirlenmesi olasılığı da o kadar artar
- GSM-Symbolic, GSM8K problemlerini sembolik şablonlara dönüştürerek çeşitli varyasyonlar üretir ve LLM’lerin matematiksel akıl yürütme performansını tek bir puan yerine performans dağılımı olarak değerlendirir
- GSM-Symbolic şablonları ve üretilen veriler apple/ml-gsm-symbolic üzerinde yayımlanmıştır
Şablon üretimi ve değerlendirme yöntemi
- GSM-Symbolic, GSM8K test setindeki belirli örneklerin ayrıştırılabilir şablonlara dönüştürülmesiyle oluşturulur
- Değişkenler, değişken aralıkları ve yanıtın doğru olmasını garanti eden koşullar tanımlanır
- İlkokul matematik problemlerinin özelliği gereği, yanıtın tam sayı olması için tam bölünebilirlik gibi koşullar sıkça kullanılır
- Şablon üretimini basitleştirmek için kişi adları, yiyecekler ve para birimleri gibi genel özel adlardan yararlanılır
- Şablon üretiminden sonra çeşitli otomatik kontrollerden geçilir
- Orijinal değişken değerlerinin şablonda kalıp kalmadığı kontrol edilir
- Orijinal değerlerin tüm koşulları karşılayıp karşılamadığı denetlenir
- Üretilen nihai yanıtın orijinal problemin yanıtıyla eşleşip eşleşmediği kontrol edilir
- Her şablon için rastgele 10 örnek elle incelenir
- Tüm model değerlendirmelerinden sonra, her problem en az 2 model tarafından doğru çözülemezse yeniden elle incelenir
- Sayı aralıkları, orijinal GSM8K test setine yakın olacak şekilde ayarlanır
- Amaç aritmetik becerinin kendisini değil, mantıksal akıl yürütme yeteneğini değerlendirmektir
- Ek analiz, genişletilmiş sayı aralığının modellerin aritmetik doğruluğunu koruduğu sınırlar içinde olduğunu doğrular
- Değerlendirmeye 2B’den 27B’ye kadar 20’den fazla açık model ile GPT-4o-mini, GPT-4o, o1-mini, o1-preview gibi güncel kapalı modeller dahil edilir
- Toplamda yaklaşık 500 değerlendirme yapılmış; ana metindeki deneylerde 100 şablon ve şablon başına 50 örnekten oluşan 5.000 örneklik benchmark kullanılmıştır
- Aksi belirtilmedikçe GSM8K ve diğer matematik benchmark’larında yaygın olan 8-shot CoT ve greedy decoding ayarları izlenir
- Ön deneylerde shot sayısı performansı ve sonuçları büyük ölçüde değiştirmemiştir
Aynı problem yapısında bile dalgalanan performans
- GSM-Symbolic’in 50 veri setinde tüm güncel modeller, göz ardı edilmesi zor bir doğruluk varyansı gösterdi
- Gemma2-9B’de en kötü ve en iyi performans arasındaki fark %12’yi aşıyor
- Phi-3.5-mini’de bu fark yaklaşık %15
- Her soru örneği arasındaki fark yalnızca adlar ve sayılardan ibaret; problemi çözmek için gereken genel akıl yürütme adımları aynı
- Orijinal 100 GSM8K problemindeki performans, birçok modelde GSM-Symbolic performans dağılımının merkezinin 1 standart sapmadan fazla sağında yer alıyor
- Bu olgu 25 modelin 21’inde görüldü
- Olası açıklamalardan biri, GSM8K test örneklerinin model eğitim verisine tesadüfen girmiş olması nedeniyle performansın iyimser ölçülmesine yol açan veri kirlenmesi
- GSM8K’dan GSM-Symbolic’e geçildiğinde tüm modellerde performans düşüyor
- Mistral-7b-it-v0.1: -9,2 yüzde puan
- Gemma2-2b ve Gemma2-2b-it: her biri -7,4 yüzde puan
- Gemma2-9b, Gemma2-9b-it ve Mistral-7b-it-v0.3: her biri -6,2 yüzde puan
- GPT-4o-mini: -2,4 yüzde puan, o1-preview: -2,2 yüzde puan
- o1-mini: -0,6 yüzde puan, GPT-4o: -0,3 yüzde puan
- Llama3-8b ve GPT-4o gibi GSM8K performansı GSM-Symbolic dağılım merkezine yakın olan modellerde performans düşüşü küçük
Adlardan çok sayı değişikliklerine duyarlı
- Yalnızca adlar değiştirildiğinde de performans dalgalanıyor, ancak varyans sayılar değiştirildiğindekinden daha küçük
- Orijinal GSM8K doğruluğu, yalnızca adların değiştirildiği dağılımın merkezine daha yakın
- Sayılar değiştirildiğinde veya adlar ve sayılar birlikte değiştirildiğinde dağılım ortalaması sola kayıyor ve varyans büyüyor
- Gemma2-9b-it’in 8-shot CoT doğruluğu GSM8K’da %87,0; ad değişiminde %88,6±2,0; sayı değişiminde %83,1±2,2; ikisi birlikte değiştiğinde %79,1±3,0
- Phi-3.5-mini-instruct için değerler GSM8K’da %88,0; ad değişiminde %89,1±1,8; sayı değişiminde %84,9±2,4; ikisi birlikte değiştiğinde %82,1±3,4
- Mathstral-7b-v0.1 için değerler GSM8K’da %80,0; ad değişiminde %81,0±1,3; sayı değişiminde %77,3±2,0; ikisi birlikte değiştiğinde %74,0±3,5
- Bu sonuçlar, LLM’lerin akıl yürütme sürecinin biçimsel akıl yürütmeden çok, eğitim verisinde gördüğü benzer soru ve çözüm adımlarını eşleştiren örüntü eşleştirmeye yakın olabileceğini düşündürüyor
Koşul cümlelerindeki artış ve GSM-NoOp’ta ortaya çıkan kırılganlık
- Zorluk deneyinde GSM-Symbolic’ten bir cümlenin çıkarıldığı GSM-M1, bir cümlenin eklendiği GSM-P1 ve iki cümlenin eklendiği GSM-P2 kullanılır
- Bir cümle eklemenin veya çıkarmanın, gerekli akıl yürütme adımı sayısını tam olarak bir artırdığı ya da azalttığı anlamına gelmez
- Deneyin odağı, kesin sayıların kendisinden çok performans dağılımının nasıl değiştiğidir
- Cümle sayısı arttıkça tüm modellerde ortalama performans düşüyor ve varyans büyüyor
- Gemma2-9b-it: GSM-M1 %84,4±2,4, GSM-Symb %79,1±3,0, GSM-P1 %68,1±4,8, GSM-P2 %41,8±6,0
- Phi-3.5-mini-instruct: %87,6±2,0, %82,1±3,4, %64,8±5,4, %44,8±6,3
- GPT-4o-mini: %92,5±1,6, %91,7±2,0, %81,1±3,1, %72,4±4,6
- GPT-4o: %94,4±1,6, %94,9±1,9, %93,9±2,6, %88,0±3,4
- o1-mini: %94,9±1,5, %94,5±1,6, %94,3±2,6, %89,1±3,6
- GSM-NoOp, problem çözümü için gerekli olmayan ama ilgili gibi görünen cümlelerin GSM-Symbolic şablonlarına eklendiği bir veri setidir
- Örnekte, “pazar günü toplanan kivilerden 5’i ortalamadan biraz küçüktü” bilgisi toplam kivi sayısının hesaplanmasını etkilemez
- o1-mini ve Llama3-8B bu 5’i pazar günü hasadından çıkarma işlemine dönüştürerek yanlış yanıt verir
- Modeller, cümleleri anlamlarına göre yok saymak yerine onları işlemlere dönüştürme eğilimi gösteriyor
- “discount” gibi ifadelerin bağlamdan bağımsız olarak çarpma şeklinde yorumlandığı vakalar da gözlemlendi
- GSM-NoOp’ta tüm test modellerinin performansı belirgin biçimde düştü
- Phi-3-mini-128k-instruct: GSM8K’ya kıyasla -65,7 yüzde puan
- Phi-3-small-128k-instruct: -64,0 yüzde puan
- Gemma2-9b ve Gemma2-9b-it: her biri -63,0 yüzde puan
- Phi-3.5-mini-instruct: -62,5 yüzde puan
- GPT-4o-mini: -40,0 yüzde puan, GPT-4o: -32,0 yüzde puan
- o1-mini: -29,1 yüzde puan, o1-preview: -17,5 yüzde puan
- Aynı sorunun 8 GSM-Symbolic varyasyonunun shot olarak verildiği NoOp-Symb ayarında da performans standart sapma aralığında kaldı
- Phi-3-medium-128k-instruct: GSM %87,3, GSM-Symb %82,5, GSM-NoOp %29,4, NoOp-Symb %30,2, NoOp-NoOp %22,6
- Llama3-8b-instruct: GSM %76,0, GSM-Symb %74,6, GSM-NoOp %18,6, NoOp-Symb %19,6, NoOp-NoOp %19,2
- Shot olarak 8 farklı GSM-NoOp probleminin verildiği NoOp-NoOp ayarında da performans toparlanması sınırlı
- Llama3-8B’nin performansı orijinal NoOp ile aynı
- Phi-3’ün performansı biraz düşüyor
- Bazı düşük GSM8K ve GSM-Symbolic performansına sahip modeller NoOp-Symb’de daha yüksek performans gösteriyor
- Gemma2b: GSM %12,1, GSM-Symb %8,2, GSM-NoOp %4,7, NoOp-Symb %48,3, NoOp-NoOp %3,1
- Mistral-7b-v0.1: GSM %44,5, GSM-Symb %41,1, GSM-NoOp %16,2, NoOp-Symb %62,5, NoOp-NoOp %14,5
- Genel sonuçlar, LLM’lerin matematiksel akıl yürütmesinin aynı problemin varyasyonlarına, küçük zorluk artışlarına ve alakasız bilgi eklenmesine karşı kırılgan olduğunu; olasılıksal örüntü eşleştirmeye yakın olabileceğini gösteriyor
1 yorum
Hacker News yorumları
LLM’lerin gerçekten akıl yürütme yapıp yapmadığını kesin bir dille söylemem ama performans düşüşü biçimi, üniversite birinci sınıf öğrencilerinde gördüğümüze benziyor.
Şu anda kalkülüs öğretiyorum; öğrencilerin neredeyse yarısı lisede AP Calculus almış. Basit problemleri iyi çözüyorlar ama basit adımlar bile olsa birkaçını birbirine bağlamaları gerektiğinde doğruluk düşüyor ve sapma artıyor.
Problem içine alakasız bir cümle eklediğinizde de benzer sonuç çıkıyor. Birçok öğrenci kendilerine verilen tüm bilgileri kullanmaları gerektiği yönünde eğitildiği için, öğretmenin verdiği bir bilgiyi kullanmazlarsa önemli bir şeyi kaçırdıklarını düşünmeye yatkın oluyor.
Bu yüzden GPT-4o gibi güncel LLM’lerin ABD’deki ortalama bir lise mezunu düzeyinde performans gösterdiğini düşünüyorum. İnsan performansı açısından hayal kırıklığı, ama LLM açısından bakınca şimdiden birçok insana yardımcı olabileceklerine dair iyi bir işaret.
İnsanlar veriyi işlemek ve akıl yürütmek için, 1 milyar matematik problemi ve Stack Overflow yanıtı okumadan; birkaç açıklama, YouTube videosu ve birkaç alıştırmayla daha incelikli yöntemler geliştirdi.
Lise matematiği gibi alanlarda benzer puanların çıkması, mevcut yapay zeka ile insanların tesadüfen aynı noktada durmasından kaynaklanıyor olabilir. Başarısızlık biçimlerine yakından bakınca ikisi çok farklı şekilde başarısız oluyor; bugünkü yapay zekanın hataları da insanlara epey saçma görünüyor.
LLM, doğruyken de yanlışken de aynı özgüvenle yanıt veriyor ve çoğu zaman kullanıcıya kusursuzmuş gibi sunuluyor.
Ortalama bir insana orta zorlukta bir mantık problemi sorulduğunda, insanlar mantıkta zayıf oldukları yönünde sosyalleştikleri için yanıtlarından makul ölçüde şüphe eder. Buna karşılık LLM bir bilgisayarın üzerinde çalışır; bilgisayarlar da matematik ve mantıkta her zaman doğru olan arayüzler olarak algılanagelmiştir.
Bu yüzden LLM’lerin birçok insana yardım etmekten çok birçok insanı yanıltma olasılığının daha yüksek olduğunu düşünüyorum.
Temel matematik kavramlarına gerçek bir anlayış gerektiren basit ama yeni problemler koyduğumda sonuçlar sürekli kötüydü; Çin lise giriş sınavı düzeyindeki sorularda da aynıydı.
LLM’ler matematiği anlamıyor, örüntü eşleştirme yapıyor gibi görünüyordu; böyle bir örüntü eşleştirme de ancak zaten yeterli beceriye sahip bir öğrenci için faydalı olabilir.
Bu makale, alakasız bilgi eklendiğinde LLM’lerin temel cebir problemlerinde performansının ciddi biçimde düştüğünü gösteriyor
Örnek, “John pazartesi 43, salı 24 kivi topladı; çarşamba topladığı kivilerin 5’i normalden küçüktü. Pazartesi, salı ve çarşamba toplam 87 kivi topladıysa çarşamba kaç kivi toplamıştır?” gibi bir problem
Çarşamba günkü kivilerin bir kısmının küçük olduğu bilgisi ilgisiz, ama böyle bir cümle eklenince GPT-4o için ünlü benchmark performansı %95’ten %77’ye düşüyor
Yine de bu çok etkileyici değil. Bir insan böyle bir problemi okuduğunda da iki olasılığı düşünmek zorunda kalır. Bu bilgi alakasız olabilir ya da soru yanlış yazılmış olup aslında ilgili olması amaçlanan bir bilgi olabilir
Ünlü bir mantık bulmacasını tersine çeviren LLM tuzağı sorularına bakınca ben de “yanlış” yapardım. Soruyu anlamadığımdan değil; bağlam yoksa o tersine çevirmenin bir yazım hatası olduğunu varsayabileceğimden
Buradaki argüman, LLM’nin akıl yürütmediği, kol çevirir gibi mekanik cevap verdiği yönünde
Bu problem 6. sınıf matematik sınavında çıksa garip olmazdı. Sözel problemlerde gerçek soruyla ilgili bilgiyi öğretmenin koyduğu yem bilgilerden ayırma becerisini öğrendiğimi çok net hatırlıyorum
Akademi ya da uzmanlık alanları gibi soruların dikkatli ve belirli biçimde sunulduğu dar bağlamlar da var, ama genel amaçlı bir yardımcı araç, alakasız olanların içinden ilgili olanı bulabilmelidir
Çok iyi tanımlanmış matematik problemlerini iyi çözebilme becerisi, belirli bir alan yardımcı aracı olarak faydalı olabilir; fakat kendi başına aynı beceri değildir
Bir yapay zeka projesi AGI’ye ulaşacağına 100 milyar dolar yatırıyorsa, bu bağlamları birbirine karıştırmak onun işine gelir. Böyle durumlarda SAT, LSAT, GRE gibi biçimsel sorulara odaklanmak, gerçek kullanım örneklerinden çok mikrobenchmark’lara uyum sağlamaya yakındır
Aslında LLM ya da makine öğrenmesi olmasa bile, neredeyse her tür modelin alakasız bilgiyi filtrelemesi gerekir
Esas mesele, mantıksal olarak savunulabilir ve çoğunluğun kabul edeceği bir cevap üretmektir. Model “bu kısmın yazım hatası olup olmadığından emin değilim” deseydi, model üreticileri RLHF yönünü farklı belirlerdi. Çünkü bu, bir ölçüde makul ve savunulabilir olurdu
Ancak bu belirli problemde tek bir nesnel cevap olduğunu düşünüyorum. Elbette yanıltıcı ya da alakasız prompt’lar her zaman böyle değildir, fakat model yanıt verme biçimi gereği fiilen kandırılıyor
RLHF çalışanı olarak bazen benzer sorular yazmam istendiği için böyle görüyorum. Sonuçta model üreticilerinin istediği dil tahmin etme biçimi bu ve kullanıcı da bu akışa kapılıyor
Bu yüzden girdiye alakasız bağlam eklendiğinde çıktının etkilenme olasılığı yüksektir
Attention mekanizması bunu aşabilir de, ama aşamazsa gerçek dünya uygulamaları ve güvenilirlik açısından oldukça büyük bir tuzaktır. Gerçek ortamlarda hangi bilginin ilgili olduğu çoğu zaman hemen açık değildir
Hangi bilgiyi ekleyeceğine insan karar vermek zorundaysa ve çıktı da bu karara bağlıysa, modelin kullanışlılığı büyük ölçüde azalır. Şu anda da faydalı, ama yatırımcıların beklediği seviye bundan çok daha büyük görünüyor
Bu sonuç, birkaç ay önce tartışılan Alice in Wonderland problemiyle çok benzer. Diğer makalenin yazarları bunu çok daha eleştirel değerlendirip “tam bir akıl yürütme çöküşü” diye adlandırıyor
Modelin örüntü eşleştirme ile akıl yürütme arasında ara bir durumda olması nedeniyle böyle sorunlar çıktığı düşünülebilir
Problemin karakterleri, sayıları ve cümle yapısı değiştirildiğinde sonuç 20 yüzde puanından fazla değişiyorsa, matematik ve akıl yürütmeyle ilgili LLM benchmark sonuçlarını güvenilir görmek zor
https://arxiv.org/html/2406.02061v1
https://news.ycombinator.com/item?id=40811329
“Bir adam hastaneye getirildi. Doktor onu görünce ‘Bu kişiyi ameliyat edemem. O benim oğlum!’ diye bağırdı. Bu nasıl mümkün olabilir?”
Test ettiğim tüm LLM’ler, GPT o1-preview dahil, bu soruyu yanlış yaptı. Doktorun erkek olduğuna dair cinsiyet kalıbını kıran bir bilmece olduğunu varsayıyorlar; oysa burada “he exclaims” deniyor, yani doktorun erkek olduğu açık, dolayısıyla çelişki yok ve o adam hastanın babası olabilir
LLM’nin yanılmasının nedeni, benzer bir akıl yürütme örüntüsü bulup onu uygulaması gibi görünüyor. Ek yönlendirme yapıldığında bile hata yapmaya devam etti ve bir ara bunun eşcinsel bir ilişki olabileceğini bile ileri sürdü
İlginç biçimde, bu örnek O1 başlığında gündeme geldiğinde HN’deki birçok kişi de soruyu yanlış anladı. Belki insanlar da en baştan düşünmek yerine akıl yürütmede önceki örneklerden çokça yararlanıyordur
“Alice’in 3 erkek kardeşi ve 2 kız kardeşi var. Alice’in erkek kardeşlerinin kaç kız kardeşi vardır?” sorusunda kilit nokta, erkek kardeşlerin Alice’in 2 kız kardeşine ek olarak Alice’in kendisini de kız kardeş olarak sayması; bu yüzden cevap toplam 3’tür
https://news.ycombinator.com/item?id=40585039
“Soru cümleciklerinin sayısı arttıkça matematiksel akıl yürütme performansı ciddi biçimde düşüyor ve mevcut LLM’ler gerçek mantıksal akıl yürütme yapamıyor” açıklaması için daha basit bir neden de mümkün: tokenizasyon
“12345 * 27271” token’lara ayrıldığında “123”, “45”, “ *”, “ ”, “272”, “71” gibi bölünüyor
Basit aritmetik bağlamında bu token’ların birbirini tahmin etme olasılığı istatistiksel olarak pek anlamlı değil
Bunun araç kullanımının gerekli olduğu bir nokta olduğu söylenebilir ve ben de buna katılıyorum; ancak bunun “gerçek mantıksal akıl yürütme” için iyiye işaret olduğunu söylemek zor
Transformer’da sonuçta eğitim verisi kilit önemde; verinin hangi sırayla öğrenildiğinin çok önemli olduğunu giderek daha fazla öğreneceğiz. Ancak Transformer’ın aritmetiğin genelleştirilmiş bir çözümünü kodlayabildiği açık
Uygun bir tokenizasyon yöntemi ve eğitim prosedürüyle istatistiksel olarak sağlam aritmetik becerilere sahip bir LLM yapılabilir. Yine de bir hesap makinesinin algoritmik kesinliği yerine olasılıksal bir modele güvenmem; fakat matematikçiler için daha önemli olan, bu modellerin karmaşık problemler üzerinde akıl yürütmeye ve ağırlıkların istatistiksel gücünden yararlanarak zor matematik problemlerinde yeni alanlar açmaya yardım edip edemeyeceği
https://arxiv.org/abs/2301.05217
Modern dil modelleri yalnızca tek tek token tahminine dayanmaz; birden çok katman boyunca bağlam temsilleri oluşturur. Aksi halde, son derece basit durumlar dışında modelin çalışması bile imkânsız olurdu
Karmaşıklık arttığında performansın düşmesinin nedeni çalışma belleği veya dikkat kapsamı sınırları, uzun dizilerde tutarlılığı korumanın zorluğu, birbirine bağımlı birden fazla mantıksal kısıtı aynı anda yönetmenin güçlüğü gibi başka etkenler olabilir
Her hâlükârda OpenAI’nin o1 modelinin şu anda matematikte çok iyi olduğunu düşünüyorum. Yinelemeli ve model güdümlü düşünce zinciri yaklaşımı oldukça karmaşık problemleri de ele alıyor gibi görünüyor
İçinde yaşadığımız dünyanın aptallığını anlamakta zorlanıyorum. Borsanın balon olduğu, özellikle de AI ile ilgili hisselerin devasa bir balon olduğu çok açık görünüyor
Patladığında çok çirkin olacak ama para akmaya devam ediyor. Sabine’in dediği gibi, parçacık fiziğinde sürekli daha büyük çarpıştırıcılar istemeye benzeyen bir hâl alıyor. Yöntem yanlışsa çarpıştırıcıyı büyütmek anlamlı getiriyi artırmaz
Sonunda akıtılacak üstel miktardaki nakit tükenecek ve yatırımcılar soru sormaya başlayacak. Hisseler şimdiden kârın 60 katından fazlasıyla değerleniyor; balon patladığında tepeden alan kişi olmak istemezsiniz
Genel kamuoyunun LLM’lerin sorunlarını fark etmesi biraz daha zaman alacak, ama sonunda olacak
2024’te LLM’lerin kusurları başlı başına önemli değil. 2021’de LLM’lerin kusurlarının önemli olmadığı gibi; önemli olan değişim hızı ve bu dik yükselişin sürmeyeceğine dair kanıtın azlığı
Özellikle GPT-4’ün dev yatırımları tetikleyen bir tür ön gösterim modeli olduğu düşünülürse, o yatırımla zorlanan modeller önümüzdeki 2 yıl içinde ortaya çıkmaya başlayacak
Eğilim kırılır ve ölçekleme başarısız olursa balondaki havanın büyük kısmının ineceğini düşünüyorum
https://arxiv.org/pdf/2001.08361
Python kodu yazıp çalıştırarak halledebiliyorsa bu yeterli; genellikle de bunu oldukça iyi yapıyor
Bunu gerçekten yapıp yapamadığı akademik olarak ilginç bir soru, ama faydalı olup olmadığıyla ayrı bir konu. Faydalı olmak için mutlaka gerçek AGI olması da gerekmiyor
LLM’leri ilgisiz cümleciklerin karıştırıp karıştırmadığı ve bunun önemli olup olmadığı üzerine çok tartışma var, ama bence daha kritik olan şu kısım: “GSM-Symbolic benchmark’ında yalnızca sorudaki sayısal değerleri değiştirmek bile tüm modellerin performansını düşürüyor”
Bu, overfitting için çürütmesi zor bir kanıt gibi görünüyor. İyi tarafından bakılsa bile mevcut LLM’lerde genel olarak overfitting’in yaygın olduğu anlamına gelir; kötü tarafından bakılırsa, eğitim verisinden matematiksel akıl yürütmeyi öğrenememeye dair temel bir sınırı gizliyor demektir
Çok ilginç ve LLM’lerin yaptığı “düşünme” türüne ilişkin beklentilerimle de uyumlu
Sadece bu tür bir “düşünme” ile çoğu okul dersinden geçilebilir gibi görünüyor. Elbette öğretmenin örüntü eşleştirmeyle çözülmesi zor sınav soruları hazırladığı dersler hariç
LeetCode tarzı mülakat sorularını düşününce, adayları değerlendirmede hangi soruların daha iyi ya da kötü olduğuna benzer bir fark var
Saf dil modeliyle birlikte çalışacak başka tür düşünme biçimleri eklemek için birçok kişinin sıkı çalıştığını da biliyorum
LLM’leri benzer şekilde test ediyorum. Örneğin çiftçinin lahana, keçi ve kurtla nehri geçtiği ünlü mantık bulmacası GPT-2 zamanından beri çözülebiliyordu; ancak kurdu ineğe çevirirseniz gpt-o bulmacanın kurallarını doğru çıkarımladığı hâlde çözüm bulamıyor
Örneğin Gemini’ye birçok varyasyon verdim; çiftçinin teknesinin bir seferde yalnızca bir yolcu ya da eşya taşıyabileceği kısıtının olmadığı kolay bir sürüm de vardı
“Çiftçinin bir eşi, tavuğu, lahanası ve bebeği var; hepsi tekneyle nehri geçmeli. En iyi yöntem nedir?” diye sorulduğunda, testlerde LLM neredeyse her zaman teknede yük sınırı olduğunu varsayıp birçok gidiş geliş içeren tuhaf çözümler üretti
Bu tür çalışmaları genişletip hayvanların ve insanların matematiksel akıl yürütme sınırlarını da gösterebilmek ilginç olurdu
Örneğin bir köpeğin Fourier dönüşümünü asla anlayamaması gibi, insanların da anlayamayacağı fikirlerin var olma olasılığı yüksek
Kendi sınırlarımızı bilebilirsek, insanların yapamayacağı biçimde akıl yürüten makineler üretip üretemeyeceğimizi merak ediyorum
Dilde de Noam Chomsky üzerinden benzer bir fikir araştırılmış, insan yetisinin hayvanlardan nasıl farklı olduğunu göstermek için anlamanın net ve biçimselleştirilmiş sınırları çizilmeye çalışılmıştı
Kişisel olarak bu yaklaşımın geri döndürülemez biçimde tamamen başarısız olduğunu düşünüyorum, ancak araştırmanın kendisi işe yaramaz değildi
Biçimsel akıl yürütmeyle uğraşmış biri için şaşırtıcı bir sonuç değil. LLM’ler biçimsel anlamda gerçek mantıksal akıl yürütme yapamaz; SMT solver bunu daha iyi yapabilir
Aynı zamanda eğitim verisi bugüne kadar üretilmiş neredeyse tüm yazılarsa, eğitim verisinden gelen “akıl yürütme adımlarını” uygulamak bile pek çok mantık problemini çözebilir
İkisi aynı anda doğru olabilir; bu bir çelişki değil, ilginç bir ikiliktir