"LLM'lerin 'ani sıçrama' yeteneği aslında kademeli ve öngörülebilir biçimde gelişiyor – araştırma sonucu"

Büyük dil modelleri beklenmedik becerileri ne kadar hızlı öğreniyor?

• Büyük dil modellerinin (Large Language Models, LLM) yeteneklerine ilişkin yeni bir araştırma, sözde 'ani sıçrama yeteneklerinin' gerçekte kademeli ve öngörülebilir şekilde geliştiğini öne sürüyor.
• Araştırmacılar bu yetenekleri 'ani sıçrama' davranışı olarak tanımladı ve bunu fizikte sıvının buza dönüşmesi gibi bir faz geçişine benzetti.
• Ancak Stanford Üniversitesi'nden araştırmacılar, bu yeteneklerin aniden ortaya çıkmasının aslında araştırmacıların LLM performansını ölçme biçiminin bir sonucu olduğunu savunuyor.

Büyük dil modellerinin performansını ölçmek

• Büyük dil modelleri, çok büyük metin veri kümelerini analiz ederek sık sık birlikte görülen kelimeler arasındaki bağlantıları bulur.
• Modelin büyüklüğü parametre sayısıyla ölçülür; parametre sayısı arttıkça LLM daha fazla bağlantı bulabilir.
• GPT-2'nin 1,5 milyar parametresi vardı; GPT-3.5 350 milyar, GPT-4 ise 1,75 trilyon parametre kullanıyor.

Beklenmedik yeteneklerin kademeli gelişimi

• Stanford Üniversitesi'ndeki araştırmacılar, LLM yeteneklerinin ani ve öngörülemez biçimde değil, kademeli ve öngörülebilir şekilde ortaya çıktığını savunuyor.
• Örneğin, üç basamaklı toplamada GPT-3 ve LaMDA, parametre sayısı azken doğru hesap yapamıyordu; ancak parametre sayısı arttıkça bir noktada aniden toplama yapabilir hale geldi.
• Araştırmacılar, LLM'leri yalnızca doğrulukla değerlendirmek yerine kısmi puan veren bir ölçüm yöntemi kullandı ve LLM'lerin doğru sayı sırasını kademeli olarak tahmin ettiğini buldu.

Diğer bilim insanlarının görüşleri

• Diğer bilim insanları, bu çalışmanın 'ani sıçrama' kavramını tamamen ortadan kaldırmadığını belirtiyor.
• Hangi ölçütlerin kullanılacağı ya da LLM performansının ne zaman keskin biçimde iyileşeceğinin nasıl öngörüleceği hâlâ belirsiz.
• Bazı bilim insanları, önceki 'ani sıçrama' raporlarının doğru olduğunu savunuyor ve özellikle aritmetik gibi becerilerde doğru cevabın her şey olduğunu vurguluyor.

GN⁺ görüşü

• Bu araştırma, yapay zekanın güvenliği ve potansiyel riskleri hakkındaki tartışmalar üzerinde önemli etkiler yaratabilir. LLM yetenekleri öngörülebilir biçimde gelişiyorsa, bu durum yapay zekanın güvenli geliştirilmesi ve yönetimi açısından önemli bir gösterge olabilir.
• Araştırma sonuçları gerçek yapay zeka geliştirme süreçlerine uygulandığında, geliştiricilerin performans ölçüm yöntemlerinin önemini fark etmesi ve daha incelikli değerlendirme yöntemleri tasarlaması gerekebilir.
• Bu yazı, yapay zeka araştırmalarının ön cephesindeki değişim ve gelişmeleri anlamaya yardımcı olabilir; özellikle de yapay zeka modellerinin performansını değerlendirme biçimine dair yeni bir bakış açısı sunuyor.
• Eleştirel bir açıdan bakıldığında, araştırma bulgularının tüm LLM performans artışlarını açıklamadığını ve daha büyük, daha karmaşık modellerde 'ani sıçrama' olgusunun hâlâ görülebileceğini kabul etmek gerekir.
• Bu teknoloji bağlamında OpenAI'nin GPT serisi zaten piyasada yaygın olarak kullanılıyor ve bu araştırma, GPT'ye benzer diğer LLM'lerin geliştirilmesine ilham verebilir.

[GN⁺]

Hacker News görüşleri

• Araştırmayla ilgili bazı sorunlar

  • Araştırmada kullanılan değerlendirme yöntemi teknik yetkinliği tam olarak yansıtmayabilir.
  • Yazarların ölçütlerine rağmen bazı potansiyel yetenekler ortaya çıkıyor.
  • Geçmiş verilere bakarak sonuçları tahmin etmek kolaydır, ancak asıl önemli olan pratikte beklenmedik sonuçların ortaya çıkmış olmasıdır.
  • Bu makalenin değeri var, ancak sonuçları aşırı genelleştirilmemeli.

• Geleceği tahmin etmenin zorluğu

  • Geleceği tahmin etmek, ancak olduktan sonra kolaylaşır.
  • Üst düzey yetenekler birçok alt yeteneğe bağlıdır ve tahmin edilmesi zordur.
  • Tahmin için gerekli temel bileşenleri önceden belirlemek ve bunların hangi seviyeye ulaşması gerektiğini simüle etmek gerekir.
  • Verinin türü ve kalitesi de önemlidir ve model sürümleri arasında keskin değişimler olabilir.

• Ölçüt değiştiğinde sonuçların da değişmesi

  • Farklı bir ölçüt kullanılırsa gözlemlenen olgu ortadan kalkabilir.
  • Su moleküllerini tek tek gözlemlerseniz, aniden ortaya çıkan bir buz kütlesi yerine kristal yapının kademeli oluşumunu görebilirsiniz.

• Makale başlığı: "Are Emergent Abilities of Large Language Models a Mirage?"

  • Makale bağlantısı: arXiv:2304.15004

• Yeteneklerdeki ani değişime dair gözlemler

  • Başka araştırmalar da yeteneklerde keskin sıçramalar buldu.
  • Modeller kademeli olarak daha akıllı hale geliyor olabilir ve kısmi yanıtlara puan vermeyen ölçüm yöntemleri bu ilerlemeyi kaçırıyor olabilir.

• Kısmi puan yaklaşımı ve model eğitimi

  • Kısmi puan vermek iyidir, ancak doğru cevabı elde etmeye yönelik eğitim önemlidir.
  • Model boyutu büyüdükçe yakınsamaya ulaşmak daha kolay olur.
  • Model boyutu arttıkça yeteneklerin aniden ortaya çıktığı düşünülebilir.

• Yeteneklerin kademeli ortaya çıkışı

  • Yeteneklerin ortaya çıkması için ani sıçramalar ya da öngörülemezlik gerekmez.
  • Yeni yetenekler kademeli olarak ortaya çıkabilir.

• Büyük dil modellerinin (Large Language Models, LLMs) sınırları

  • LLM'ler olasılık değerlendirme motorlarıdır.
  • Sadece LLM'lerin ölçeğini büyütmek, yapay genel zeka (Artificial General Intelligence, AGI) üretmeye yetmez.

• Ölçütlerle ilgili kafa karışıklığı

  • edit distance kullanan ölçüm yöntemi uygun olmayabilir.
  • Modelin aritmetiği anlayıp anlamadığını test etmek için tuhaf bir yöntem gibi görünüyor.
  • Gerçek değer ile beklenen değer arasındaki farkı dikkate almak daha iyi olabilir.
  • Makale bağlantısı: arXiv:2206.07682