Bir modeli yeniden üretemiyorsanız, o açık kaynak değildir

• Açık kaynak yapay zeka devrimi henüz gerçekleşmedi
• Elbette etkileyici açık ağırlık modelleri var ve ağırlıkları paylaşanlara teşekkürler, ancak bir modeli yeniden üretemiyorsanız bu gerçek anlamda açık kaynak değildir
• Linux'ta kod tabanı olmadan yalnızca ikililerin yayımlandığını hayal edin. Ya da ikilileri üretmek için kullanılan derleyici olmadan yalnızca kod tabanının yayımlandığını düşünün. Bugünkü durum tam olarak bu
• Bunun çeşitli dezavantajları var
  • Projeye yeniden katkıda bulunulamaz
  • Proje, OSS geri bildirim döngüsünün faydalarından yararlanamaz
  • Modelde arka kapı (ör. gizli ajanlar) bulunup bulunmadığını doğrulamak zordur
  • Veri ve içerik filtrelerinin şirket politikalarıyla uyumlu olup olmadığı doğrulanamaz
  • Modeli yenilemek için şirkete bağımlı kalınır
• Kod tabanından veri hattına kadar her şeyin açık olduğu gerçek bir açık kaynak LLM projesi, büyük değer ve yaratıcılık üretebilir ve güvenliği iyileştirebilir
  • Ancak ağırlıkları yeniden üretmek, kod derlemek kadar kolay olmadığı için bu basit bir iş değildir. Hesaplama gücü ve uzmanlık gerekir.
  • Ayrıca katkıları incelemek zordur; çünkü performansı nasıl etkilediği ancak bir sonraki eğitimi çalıştırdığınızda anlaşılır
• Yine de yeterince motive olmuş kişi veya gruplar bu ayrıntıları çözebilir; mevcut OSS'den oldukça farklı görünebilir, ancak bu yeni zorluklar da bu alanı ilginç kılan neden

[coyai]

Doğru söz,

1. GitHub ya da Hugging Face, açık kaynak deposu olmaktan çıkalı ve birer pazarlama platformuna dönüşeli çok oldu.
2. Bazı modeller çalıştırılabilir bir binary bile sunmuyor (https://github.com/AIGCDesignGroup/ReplaceAnything)
3. Sadece çevrimiçi demo sunup bunu kendi teknolojileri için bir Marketing Demo yayımlamaya kullanıyorlarsa, buna nasıl Open source platform denebilir?
4. Gitbug ya da Hugging Face de sonuçta eskiden olduğu gibi sahte ya da uydurma şeylerin cirit attığı çöp sitelere dönüşüyor.

Dolayısıyla open source artık bir Myth ya da Urban Legend hâline geliyor. Gerçekte bu sitelerde tam anlamıyla yeniden üretilebilir, kelimenin gerçek anlamıyla açık kaynak model neredeyse yok denebilir. Çoğu sadece marketing stunt.

[cosine20]

Nereden baktığınızı anlıyorum ama... bugünlerde çıkan modelleri eğitmek için gereken hesaplama gücü ve süre, sıradan bireylerin yeniden üretmesini zorlaştıracak bir noktaya gelmiş durumda; o yüzden nasıl değerlendirmek gerekir pek emin değilim.
Yine de veri setinin yayımlanması konusunda ben de bir ölçüde katılıyorum.

[xguru]

Hacker News görüşü

• Linux'un kod tabanı olmadan yalnızca ikili dosyalarla ya da derleyici olmadan yalnızca kod tabanıyla yayımlandığını hayal edin. Şu anda içinde bulunduğumuz durum bu.

  • Bu, mevcut "açık kaynak model" sorununu çok iyi açıklayan bir benzetme. Bu benzetme sayesinde açık kaynak modellerin sorunu net biçimde ortaya çıkıyor.

• CERN örneğini ele alalım: CC0 lisansı altında çeşitli deney verilerini yayımlıyorlar. Bu, basit küçük bir veri kümesi değil; LHCb'nin ilk çalıştırmasının tüm verisi gibi büyük ölçekli bir veri.

  • CERN verileri sadece yayımlayıp bırakmıyor; analiz kılavuzları ve gerekli araçları da sağlıyor (çoğu açık kaynak olan ROOT gibi). Bu sayede herkes yeni bir şey keşfedebilir ya da mevcut deney analizlerini genişletebilir. Bu açık veri ve araçlar, yeniden üretilebilirlik için gereken koşulları sağlıyor, ancak verinin doğrudan yeniden üretilmesini gerektirmiyor. Teorik olarak LHC yeniden inşa edilebilir, ancak bu çok sayıda insan, para ve zaman gerektirir. Açık kaynak modellerin aksine, modeli yeniden eğitip ağırlıkları elde etmek mümkündür, ancak veriyi temin etmenin ve ağırlıkları yeniden üretmenin maliyeti genellikle çok büyüktür. CERN'in ham veriyi (çoğu gürültü) değil, daha rafine edilmiş bir sürümü yayımladığını da unutmamak gerekir. Büyük ölçekli ham veriyi indirmek zor olabilir, ancak büyük dil modeli (LLM) gibi bir şeyi eğitmek için tüm veri kümesine ihtiyaç duyulabilir ve bu da çoğu zaman telif hakkı gibi kendi sorunlarını beraberinde getirir.

• Veri kümesini yayımlamak en büyük sorun. O zaman insanlar ve şirketler telif hakkı ihlali nedeniyle dava açacaktır.

  • Veri kümesi telif hakkıyla korunan içerik içeriyorsa, hak sahipleri dava açabilir. Modelin Z-Library ya da Google Books veri kümesinin tamamını içermiş olabileceğine şaşırmam.

• Open Source Initiative son bir yıldır, yapay zekanın açık kaynak olup olmadığı konusunda çeşitli paydaşların görüşlerini toplayan bir seri yürütüyor.

  • All Things Open'da öğleden sonranın tamamına yayılan bir oturuma katılmıştım. Bu konuda zaten süren tartışmalara göz atmanızı tavsiye ederim. Bu, bir tweete sığdırılabilecek olandan çok daha nüanslı bir mesele.

• "Açık kaynak" terimini yapay zeka modellerine uygulamak, bunu yazılıma uygulamaktan daha karmaşıktır. Birçok kişi yeniden üretilebilirliği, bir şeyin açık kaynak sayılması için ölçüt olarak görüyor.

  • Yapay zeka modellerinde modelin kendisi, veri kümesi ve eğitim reçetesi (örneğin süreç ve hiperparametreler) çoğu zaman kaynak kod olarak da yayımlanır. Bu sayede yeterli hesaplama gücünüz varsa modeli eğitip ağırlıkları elde edebilirsiniz.

• Open core da aynı şekildedir - kendi altyapınızda barındıramıyorsanız bu gerçek açık kaynak yazılım değildir.

  • Kendi altyapınızda barındıramıyorsanız, bu gerçek açık kaynak yazılım sayılmaz.

• "Proje OSS geri bildirim döngüsünden fayda görmüyor" Hata düzeltmelerinde olduğu gibi belirli sorunları çözen eğitim verilerine PR gönderemezsiniz; bu yüzden çok fazla geri bildirim döngüsü göreceğimizi sanmıyorum.

  • "Modelde arka kapı olmadığını doğrulamak zor" Veri kümesinin büyüklüğü ve eğitim sürecinin opaklığı göz önüne alındığında, eğitim verisinde arka kapı olup olmadığını anlayabilecek kişi sayısı çok az olacaktır.
  • "Veri ve içerik filtrelerini doğrulamak ve şirket politikalarıyla uyumlu olup olmadıklarını kontrol etmek zor" Eğitim verisine erişmeden de model çıktısına şirket politikaları uygulanabilir. Her şirketin girdi verisini filtreleyip kendi modelini eğitmesi gerekip gerekmediği ayrı bir sorudur.
  • "Modeli yenilemek istediğinizde şirkete bağımlı hale gelirsiniz" Mevcut maliyetler düşünüldüğünde bu zaten çoğu insan için geçerli.
  • "Kod tabanından veri hattına kadar her şeyin açık olduğu gerçek açık kaynak bir LLM projesi çok fazla değer ve yaratıcılığı serbest bırakabilir, ayrıca güvenliği artırabilir" LLM'ler söz konusu olduğunda bunun genel olarak doğru olduğuna şüpheyle yaklaşıyorum. Hatta kötü niyetli aktörlere saldırı için daha geniş bir yüzey bile oluşturabilir.

• "Bir eserde değişiklik yapmak için tercih edilen biçim 'kaynak kod'dur."

  • GPLv3 alıntısı
  • Bu AI/ML modeli ilginç biçimde ağırlıkların eğitim kümesinden türetilmiş olmasına rağmen, değişiklik yapmak için özgün eğitim kümesine erişim gerektirmiyor. Özgün eğitim kümesine erişmeden ince ayar yapmanın nasıl gerçekleştirileceğine dair pek çok eğitim mevcut.

• Katılmıyorum ve benzetmenin uygun olmadığını düşünüyorum. Listelediği şeyler eğitilmiş bir modelle yapılabilir. Veriye sahip olmak pratikte ilgi çekmeyen bir mesele. Açık/özgür yazılım, özgürlükleri kullanabilmekle ilgilidir; model ağırlıkları ve kod sizdeyse tüm özgürlükleri kullanabilirsiniz.

• Tüm eğitim verisinin kamuya açık olarak erişilebilir olduğu (uyumlu lisanslarla) ve eğitim yazılımının bit düzeyinde aynı modeli yeniden üretebildiği gerçek bir açık kaynak LLM modeli var mı?

  • Eğitim deterministik değil mi? LLM çıktılarının kasıtlı olarak deterministik olmadığını biliyorum.