Evrensel Ağırlık Altuzayı Hipotezi

 (arxiv.org)
2 puan yazan GN⁺ 2025-12-11 | 1 yorum | WhatsApp'ta paylaş
  • Geniş ölçekli deneylerde, farklı veriler ve başlangıç değerleriyle eğitilmiş farklı derin öğrenme modellerinin ortak bir düşük boyutlu parametre altuzayına yakınsadığı doğrulandı
  • 1100'den fazla modeli (500 Mistral-7B LoRA, 500 Vision Transformer, 50 LLaMA-8B vb.) spektrum analizi ettiğimizde, varyansın çoğunun yalnızca az sayıda ana bileşen yönüne yoğunlaştığı görüldü
  • Bu tür bir Evrensel Altuzay (Universal Subspace), model mimarisine göre oluşur ve veriye veya başlangıca bağlı olmaksızın tekrarlı olarak ortaya çıkar
  • Bu yapı, model sıkıştırma, parametre verimli öğrenme, model birleştirme, hızlı çıkarım gibi alanlarda büyük potansiyel taşır
  • Araştırma, sinir ağlarının içsel yapısı ve genelleme yeteneğini yeni bir şekilde anlamamıza dair ipuçları veriyor ve gelecekteki verimli öğrenme algoritmaları tasarımı için önemli bir temel oluşturabilir

Evrensel Altuzayın Keşfi

  • Çeşitli veri kümeleri, başlangıçlar ve hiperparametrelerle eğitilen derin öğrenme ağlarının ortak bir düşük boyutlu altuzaya yakınsadığı gözlemlendi
    • Bu olgu, mimari bazında ve katman bazında benzer düşük-ranklı bir yapı olarak görünüyor
    • Eğitim verisi veya kayıp fonksiyonu farklı olsa da aynı yapısal eğilim gözleniyor
  • Spektrum analizinde, tekil görevlerin ağırlık uzayları farklıymış gibi görünse de aslında bunların paylaşılan bir düşük boyutlu uzayın bir parçası olarak var olduğu görünüyor
  • Bu sonuçlar, aşırı uydurma yapan modellerin neden genelleştirdiğini, farklı başlangıçların neden benzer temsillere yakınsadığını, parametre verimli ince ayarın neden başarılı olduğunu açıklayabiliyor
Reklam

Büyük Ölçekli Deney ve Analiz

  • Çalışma, 500 Mistral-7B LoRA adaptörü, 500 Vision Transformer ve 50 LLaMA3-8B modelini analiz etti
    • Her bir model, farklı veri kümeleri ve başlatma koşullarıyla eğitildi
  • Temel Bileşen Analizi (PCA) sonuçları, az sayıda temel bileşenin çoğu varyansı açıklamasıyla paylaşılan düşük-ranklı bir altuzayın varlığını işaret ediyor
  • Özellikle, rastgele başlatılmış 500 ViT modeli bile aynı düşük boyutlu altuzaya yakınsamıştır; bu durum sinir ağlarının temel bir özelliği olarak yorumlanıyor

Teorik Modelleme ve Matematiksel Formülasyon

  • Çalışma, öngörücüyü Hilbert uzayı üzerinde bir eleman olarak modelleyerek görevler arasında ortak altuzay geri kazanım koşullarını analiz ediyor
  • Her görevin öngörücüsü f_t^* ile ortak bir ikinci moment operatörü S tanımlanır ve eğitilmiş öngörücülerden elde edilen yaklaşık operatör S_tilde'ın S'ye yakınsadığı kanıtlanır
  • Teorem 2.5, öğrenilmiş altuzayın gerçek ortak altuzaya yakınsadığını gösterir; yakınsama hızı görev sayısı (T) ve her görevin öngörü doğruluğu (η) ile belirlenir
  • Özdeğer boşluğu (γₖ) büyüdükçe altuzay geri kazanımı daha istikrarlı olur

Uygulama Potansiyeli ve Etki

  • Paylaşılan altuzay sayesinde şu uygulamalar mümkün olur
    • Tüm ağırlıklar yerine yalnızca altuzay katsayılarını saklayarak model sıkıştırma
    • Öğrenilen altuzay içinde yeni görevlere hızlı uyum
    • Genelleme sınırları ve optimizasyon peyzajı için teorik içgörüler sağlama
    • Eğitim ve çıkarım hesap maliyetinin azaltılmasıyla karbon emisyonunu azaltma
    Reklam
  • Bu yapı, model yeniden kullanılabilirliği, çok görevli öğrenme, model birleştirme gibi alanlarda da verimliliği artırabilir

Gelecek Araştırma Konuları

  • Mimari bazında evrensel altuzayın farklılıkları ve bunun geometrik olarak optimize edilebilirliği hâlen çözülmemiş bir alandır
  • Tüm ağlar aynı altuzaya yakınsamışsa, önyargı ve arıza modlarının paylaşımı nedeniyle çeşitlilik eksikliği yeni bir darboğaz olabilir
  • İleride bu yakınsamayı bilinçli şekilde dağınık hale getirme yöntemlerinin geliştirilmesi gerekecektir

Başlıca Katkılar

  • Derin öğrenme ağlarının parametre uzayında evrensel bir düşük boyutlu altuzayın varlığını deneysel olarak doğrulama
  • Farklı görev setlerinden yaklaşık paylaşılan altuzay öğrenme yönteminin önerilmesi
  • Öğrenilmiş altuzayı kullanarak az parametreyle yeni görevlere verimli uyum sağlanabileceğinin doğrulanması
  • Model sıkıştırma, hızlı öğrenme ve çıkarım, verimli ölçekleme için kullanılabilirliğin gösterilmesi

İlgili okumalar

1 yorum

 
GN⁺ 2025-12-11
Hacker News yorumları

  • “500 Vision Transformers” ifadesi kafa karıştırıcıydı
    Aslında bu, aynı temel modelin ince ayarının yapıldığı (finetune) 500 sürüm anlamına geliyor
    Bu modeller Hugging Face’teki anonim kullanıcı hesaplarından indirilmiş ve “evrensel (universal)” ifadesi fiilen yalnızca tek bir önceden eğitilmiş model için geçerli
    LoRA gibi ince ayarlanmış modellerin birbirine benzemesi şaşırtıcı değil
    Ayrıca, makalede alıntılanan modellerden biri olan CheXpert-ViT-U-MultiClass için Hugging Face’te kötü amaçlı yazılım uyarısı gösteriliyor

    • Bu açıklama sayesinde makalenin sözünü ettiği “evrensel altuzay (subspace)”ın anlamı netleşti
      Başta bunun farklı model mimarileri arasında ortak bir altuzay buldukları anlamına geldiğini sanıp kafam karışmıştı, ama sonuçta anlatılan şey aynı model sınıfı içindeki kararlılık
      Yine de bu, sonuç olarak “kayıp fonksiyonunun iyi tanımlanmış minimum noktaları vardır” gibi zaten beklenen bir şeyi doğrulama düzeyinde; bu yüzden “evrensel ağırlık altuzayı hipotezi” adı biraz abartılı hissettiriyor
    • İnce ayar sonuçları beklendiği gibiydi, ama sıfırdan eğitilmiş ResNet deneyi (Figure 2, Section 3.2.1) biraz daha ilginçti
      LoRA kadar hemen pratik olmayabilir, ama devam araştırmaları için potansiyel var
    • Her ince ayar, temel modelin ağırlıklarını belirli bir yönde kaydırıyor
      500 veri kümesiyle ince ayar yapılınca 500 boyutlu bir uzay oluşacakmış gibi düşünülebilir, ama pratikte bu yaklaşık 40 boyutlu bir altuzaya yakınsıyor
      Yani ince ayarlanmış ağırlıklar 40 gerçek sayıyla sıkıştırılabilir
      Belki bir gün Hugging Face’te model boyutları “160 bayt” birimiyle gösterilir
      Yine de bu baz vektörleri hâlâ model kadar büyük ve veri kümesi arttıkça boyutun büyümediği varsayımına ihtiyaç var
      Yazarların rastgele modeller kullanmış olması biraz üzücü, ama umarım bu çalışma büyük modellerin sıfırdan eğitildiği takip araştırmalarına yol açar
    • Farklı verilerle eğitilmişlerse neden benzer sayıldıkları merak konusu
      Ayrıca makalede sıfırdan eğitilmiş modellerin de analiz edildiğini düşünüyorum
    • Mistral ve LLaMA modelleri ele alınmış ama “evrensel” ifadesi yine de abartılı

  • Bence makaledeki en önemli kısım şu iki cümle
    Birincisi, 5 yeni ViT modelinin ağırlıkları 16 boyutlu evrensel bir altuzaya yansıtıldığında doğrulukta kayıp olmadı
    İkincisi, 500 ViT modelinin tek bir evrensel altuzay modeliyle değiştirilebildiği ve bellek kullanımının 100 kat azaldığı gösterildi
    Yani 50 LLaMA3-8B, 177 GPT-2 ve 8 Flan-T5 modelinde ortak yapı bulunabildi ve bu yapı orijinal modellerin yerine kullanıldığında performans korundu
    Benzetmek gerekirse, tüm dosyaları %99 oranında sıkıştırabilen bir bzip2 sözlüğü (dictionary) keşfetmek gibi

    • Bununla ilişkili kuramsal arka plan olarak arXiv:2007.00810 makalesi var
      Orada modellerin lineer dönüşüme kadar aynı uzaya yakınsadığı anlatılıyor
      Örneğin, MSE kaybı kullanan Siamese encoder’lar decoder olmadan da aynı gizil uzaya yakınsıyor
      Dolayısıyla benzer verilerle eğitilmiş Transformer’ların da lineer dönüşüm düzeyinde aynı uzaya ulaşma olasılığı yüksek
      Bu açıdan bu sonuç çok şaşırtıcı değil; hatta bana göre bu makaledeki gibi matematiksel ispatlar daha önemli
    • Bu “ortaklık (commonality)”ın pratikte nasıl kullanılabileceğini merak ediyorum
      Örneğin, bu evrensel ağırlık altkümesiyle yeni bir model başlatılabilir mi, ayrıca bunun yalnızca belirli mimariler için mi geçerli olduğunu bilmek isterim
    • Eğer modeller doğal olarak paylaşılan spektral bir altuzayı dolduruyorsa, eğitim maliyeti ve depolama alanı ciddi ölçüde azaltılabilir
    • “Sadece 16 boyut yeterli” sözü etkileyici
    • Ama 16 sayısı fazla temiz duruyor, o yüzden şüphe uyandırıyor
      Belki kodda bir hata vardır ya da keyfî seçilmiş bir değerdir

  • Makalenin “evrensellik” iddiasını fazla parlatılmış buldum
    CNN tarafında filtrelerin Laplacian/Gabor biçimlerine yakınsaması güçlü bir tümevarımsal önyargıdan kaynaklanıyor
    Transformer’larda böyle bir yerellik kısıtı yok; bu yüzden altuzay ancak paylaşılan başlatma (finetuning) üzerinden bulunabildi
    Sonuçta “evrensellik”, öğrenmenin özsel bir niteliği değil; yapısal kısıtlar + ön eğitim kararlılığının bir sonucu

    • Yine de böyle bir araştırma yönünün var olması başlı başına şaşırtıcı ve ilginç

  • Bu yaklaşım LoRA’dan çok daha iyi görünüyor ve çıkarım hızını artırmak için de kullanılabilir gibi
    Hatta büyük modeller bunu içeride zaten kullanıyor olabilir
    Kilit nokta, yeni görevlere yetenek aktarımında rol oynayan parametre altkümesini bulmuş olmaları
    Tamamen yeni görevlerde işe yaramaz ama aynı alan içinde etkili olur
    GPT 5.1 benzetmesiyle, 3D karakter rigging’de ifadeleri ayarlayan temel ifade (basis expression) gibi

    • “Tamamen yeni görev diye bir şey var mı?” şeklinde felsefi bir karşı soru da var
      Fizik yasaları içinde mümkün görevler sonlu ve çoğu da anlamsız deniyor
    • Pratikte ise yeni görevlerde de bir ölçüde çalışıyor gibi görünüyor

  • Makalenin anlattığı “evrensel altuzay” kavramı net değildi
    Karşılaştırmalar yalnızca aynı model ailesi içinde yapıldığı için, ViT ile GPT2 gibi yapısal olarak farklı modeller arasında ortak bir altuzay yok
    PCA sonuçlarının logaritmik biçimde azalması zaten beklenen bir durum
    Ayrıca matris çarpımında satır/sütunları değiştirip sonucu geri almak mümkün olduğundan, tamamen bağımsız eğitilmiş modellerin aynı altuzay yönlerini paylaşması mümkün olamaz

    • Sonuçta bu daha çok bir model sıkıştırma tekniği gibi; felsefi anlamda “evrensellik” değil

  • Eğer modeller doğal olarak düşük boyutlu bir uzaya yakınsıyorsa, eğitimi o uzayın içinde başlatarak eğitim hızını ciddi biçimde artırmak mümkün olabilir

    • Siamese encoder’larda olduğu gibi aynı kayıp fonksiyonu kullanılırsa, lineer dönüşüm düzeyinde aynı gizil uzaya ulaşılır
      Transformer’lar da benzer bir ilkeyle çalışıyor olabilir
      Kuramsal olarak bu makaledeki gibi matematiksel ispatlara ihtiyaç var
    • Böyle bir çalışmanın JHU’da yapılmış olması ilginç
      OpenAI ya da Google’dan çok daha az kaynakla bu sonuca ulaşmış olmaları etkileyici
    • Ama böyle bir ortak uzay varsa, model temsil gücünün sınırları da olabilir
    • Ya da doğrudan bu altuzayın özelliklerini tümevarımsal önyargı (inductive bias) olarak kullanan yeni bir mimari tasarlanabilir

  • Bu yapının genetik algoritmalarla (GA) geliştirilip geliştirilemeyeceğini düşündüm
    Aslında sinir ağları ne zaman açılsa aklıma hep GA geliyor

    • Çocukken okuduğum Levy’nin 『Artificial Life』 kitabı yüzünden GA’ya karşı bir zaafım var
      Çaprazlama (crossover) ve mutasyon sezgisel olarak anlaşılır geliyor ama backpropagation hâlâ zor hissettiriyor
    • Son zamanlarda dolaylı kodlama kullanan GA deneyleri yapıyorum; bu makale de sanki o yönü destekliyor
      Fikir, ağırlık matrislerini spektral örüntülere ayırıp sıkıştırılmış uzayda arama yapmak
      Mevcut büyük modelleri sıkıştırılmış biçimde kodlayıp mutasyon için başlangıç noktası yapmak da mümkün olabilir
      Böyle bir yaklaşım gelişirse, yeni mekanizmaları evrimsel olarak keşfetmek de mümkün olabilir
    • Artık böyle bir hedef oluştuğuna göre, GA ya da öğrenme dışı başka yöntemleri yeniden değerlendirmek için iyi bir zaman gibi görünüyor
    • Eskiden EvoLisa projesine çok takmıştım
      EvoLisa bağlantısı
      LLM eğitimiyle tamamen aynı değil ama bazı açılardan benzer bir his veriyor
    • Ben ise GA yerine vektör niceleme (vector quantization) tarafına daha yakınım

  • “Platonic Representation Hypothesis” ile ilişkisi merak konusu

    • Benden daha zeki birinin buna cevap vermesini isterdim
      Son zamanlarda Platoncu söylemin yeniden popülerleşmesi, sanki daha temel bir kavrayışa doğru yakınsama olduğunu düşündürüyor
    • İki hipotez birbiriyle yakından ilişkili
      Paylaşılan temsil yapısı, Platoncu kategoriler için iyi bir aday olabilir
      Bu iki kavram arasında ilginç bir eşleme olabilir gibi geliyor
    • arXiv:2405.07987 makalesi de bunun uzantısı sayılabilir
      Önceki hipotezi ampirik olarak destekleyen kanıtlar sunuyor

  • “Belki de tüm modeller aslında LLaMA’nın ince ayarlı sürümleridir” şeklinde yarı şakacı bir tahmin de var

  • Yazarlar, çeşitli düşük rütbeli ince ayar (low-rank fine-tune) modellerini analiz ederek ortak bir düşük rütbeli yapı bulduklarını öne sürüyor
    Bu temel modele bağımlı ve insanların genetik varyasyonunun az sayıdaki ana bileşenle ifade edilebilmesine benziyor
    Sonuçta bu olgu, paylaşılan bir köken (ancestry) olduğu için ortaya çıkıyor olabilir