Büyük dil modelleri, çevrimiçi Soru-Cevap platformlarında kamusal bilgi paylaşımını azaltıyor

 (academic.oup.com)
2 puan yazan GN⁺ 2024-10-14 | 1 yorum | WhatsApp'ta paylaş

Özet

  • Büyük dil modellerinin (LLM) etkisi
    Büyük dil modelleri (LLM), insanlar tarafından üretilen veri ve bilgi kaynaklarının yerini alma potansiyeline sahip. Ancak bu ikame, gelecekteki model geliştirme için gereken eğitim verisinin azalmasına yol açabilecek bir sorunu gündeme getiriyor. Bu çalışma, ChatGPT'nin kullanıma sunulmasıyla birlikte Stack Overflow'daki etkinliğin azaldığını belgeliyor.

  • ChatGPT'nin etkisi
    ChatGPT'nin çıkışından sonraki 6 ay içinde Stack Overflow'daki etkinlik, Rusya ve Çin'deki benzer platformlar ile matematik forumlarına kıyasla %25 azaldı. Bu, ChatGPT'nin Stack Overflow üzerindeki gerçek etkisinin alt sınırı olarak yorumlanıyor. En yaygın kullanılan programlama dilleriyle ilgili gönderilerde düşüş daha büyük.

  • LLM'lerin ikame etkisi
    LLM'ler, yinelenen veya düşük kaliteli içeriklerin yanı sıra yüksek kaliteli içeriklerin de yerini alıyor. ChatGPT kullanıcılarının Stack Overflow'da gönderi paylaşma olasılığı daha düşük ve platformu düzenli olarak ziyaret etmiyorlar. Bu, LLM'lerin hızlı benimsenmesinin eğitim için gerekli kamusal verinin üretimini azaltarak önemli sonuçlara yol açabileceğini gösteriyor.

  • Programlama dillerine göre etki
    Python ve Javascript gibi yaygın kullanılan dillerde ChatGPT'nin etkisi daha büyük. CUDA gibi belirli dillerde ise ChatGPT'nin çıkışından sonra gönderiler arttı. Bu da yapay zekayla ilişkili yazılımlara olan ilginin arttığını gösteriyor.

GN⁺ Özeti

  • Bu çalışma, ChatGPT gibi büyük dil modellerinin çevrimiçi Soru-Cevap platformları üzerindeki etkisini analiz ederek, yapay zekanın hızlı benimsenmesinin kamusal veri üretimi üzerindeki olumsuz etkisini vurguluyor.
  • ChatGPT kullanımı arttıkça Stack Overflow gibi platformlardaki etkinlik azalıyor ve bu durum gelecekteki yapay zeka modellerinin eğitim verisi kalitesini etkileyebilir.
  • Bu değişimler, dijital ekonomi ve bilgiye erişim biçimleri üzerinde önemli etkiler yaratabilir; bu da yapay zeka ekosisteminin sürdürülebilirliğine dair kaygıları gündeme getiriyor.
  • Benzer işlevlere sahip diğer projeler arasında GitHub'daki programlama dilleriyle ilgili depolar yer alıyor.

İlgili okumalar

1 yorum

 
GN⁺ 2024-10-14
Hacker News yorumları

  • Sonuçta mesele LLM’nin neyi dayanak alacağı. Yeni bilgi üretmek yerine mevcut bilgiyi tekrar edip birleştirdiği için, herkese açık örneklerin ya da Stack Overflow/Reddit yanıtlarının yeterli olmadığı kodlarda performansı ciddi biçimde düşüyor

    • Bu arada GPT o1, dokümantasyonu şeffaf olmayan ve herkese açık örneği az bulunan açık kaynak bir kütüphane olan epub.js için epey karmaşık bir kullanım senaryosunu çözmeme yardım etti
      Çalışan bir çözüme ulaşmak için birkaç kez gidip gelmek gerekti ama sonunda başardı; yapay zekanın internetteki obscure kaynakları iyi bulup sindirip sindiremediğini, yoksa anlaşılması zor dokümantasyonu benden daha iyi anlayıp anlamadığını merak ettim. İkincisiyse herkese açık örneklere duyulan ihtiyaç azalabilir
    • LLM’lerin bilmemesi nedeniyle insanların rastgele yeni programlama dilleri ve framework’ler üretmesinin azalması gibi ilginç bir yan etki de doğabilir
      Zaten LLM’lerin iyi başa çıktığı teknolojilere doğru bir eğilim var; biraz daha iyi bir dilin ya da framework’ün faydasındansa, LLM’ye problemin %90’ını çözdürebilmenin avantajı daha büyük. Python’dan dil olarak epey hoşlanmıyorum ama LLM’lerin Python’da birçok başka dile göre çok daha iyi olduğunu inkâr etmek zor
    • “Yeni bilgi üretmiyor” denmesine karşın, çevrimiçi Q&A platformlarındaki bilgi paylaşımının çoğu yaratıcı bir faaliyet değil. Sistemi geliştiren kişi dışında herkesin yaşadığı aynı sorunun durmadan sorulmasına daha yakın; önemli bir kısmı da arama platformlarının yerini alma işi
    • LLM’nin dayanak alabileceği şey resmî dokümantasyon
      Rakamı uyduruyorum ama savunulabilir: Stack Overflow bilgisinin %90’ı bir yerlerdeki kılavuzların tekrarıdır. Sorun, ilgili dokümanların içinde istenen bilgiyi bulmanın zor olması ve bulunsa bile çoğu zaman okumasının zor olması; LLM’ler ise dokümanları okuyup anlamada çok iyi
    • LLM eski yöntemle yeni yöntem arasında kabaca gidip geliyor ve LLM spagetti kodu büyüdükçe, mevcut mantığı bozmadan hassas biçimde özellik ekleyemez hale geliyor
      Bir iki prompt’la bütün bir uygulamayı anında yapan teknoloji demoları özensiz. Ne yaptığını bilmiyorsanız özellik eklemeye devam ederken API çağırma biçimini, durum yönetimi yaklaşımını, CSS kütüphanesini sürekli değiştirir. Örneğin native fetch fonksiyonu olan 3 dosyanın bulunduğu bir yerde, birden hiç sebep yokken axios kurup kullanmayı önerir
      {/* rest of your functions here*} gibi kısımları silip atabilir de
      Bir süre sonra yalnızca döngüler ya da switch gibi sıkıcı işlerde güvenle kullanılabildiği için geliştirici işleri şimdilik güvende görünüyor

  • Makale, LLM’lerin kamusal bilgi paylaşımını azalttığını ve bu etkinin yalnızca tekrar eden, düşük kaliteli, başlangıç seviyesi içeriklerin yerini almasından ibaret olmadığını söylüyor; ancak iddia zayıf ve etki de başlığın ima ettiği kadar sansasyonel değil
    Birincisi, LLM’lerin düşük kaliteli gönderilerin yerini aldığına dair önerilen test için yalnızca Figure 3 gösteriliyor, regresyon sonuçları sunulmuyor. Buna karşılık, kullanıcının 10 kez gönderi paylaşmış olmasını deneyimli saymak gibi keyfî bir kullanıcı deneyimi ayrımına yönelik test raporlanıyor. Gönderi kalitesine göre testi neden atlayıp keyfî “deneyim” kovalarının sonuçlarını gösterdikleri merak konusu
    İkincisi, Figure 3’ün kendisi iyi sorular ile nötr soruların trend değişimini gösteriyor. İyi sorular düşüş trendindeyken düzleşmiş, nötr sorular ise yükseliş trendindeyken düzleşmiş. Kötü sorular azalmaya devam ediyor ve göze çarpan bir trend değişimi yok. Bu, aksine LLM’lerin düşük kaliteli içeriğin yerini aldığı yönünde zıt bir sonuca işaret ediyor
    Sonucun daha güçlü bir ifadeye ihtiyacı vardı; çalışma titiz ama şaşırtıcı olmayan sonuçları pek ödüllendirmiyor. Bu yüzden sansasyonel bir başlık ve bazı sonuçların sanki dışarıda bırakılmış olduğu hissi ortaya çıkıyor

    • Bu yazının tam olarak ele aldığı konu değil ama bir zamanlar HN’de biri benzer bir olguyu iyi ifade etmişti. İnternet Balkanlaşıyor. Yeni bir kavram değil, ama çevrimiçi topluluklara odaklanınca özellikle iyi oturuyor
      İnsanlar eskisi gibi açık forumlarda bilgiyi özgürce paylaşmıyor; Discord gibi servislere çekilip hendek kazıyor ve asma köprüleri kaldırıyor. Suçlamak da zor. Birçok forum ve sosyal medya giderek daha düşmanca tasarımlar ve para kazanma yöntemleri getiriyor; AI/LLM her yeri tarayıp her şeyi emiyor, sonra da ücret duvarlarının arkasına koyarak asıl kaynakların aramada bulunma ihtimalini mahvediyor. Etkileşimi teşvik eden algoritmalar sivri dili ve tartışmayı büyütüyor. Bugünlerde HN nadir istisnalardan biri
      Sonuçta belirli ilgi alanlarına ya da bilgiye sahip insanlar özel topluluklarda toplanıp yalnızca kendi aralarında konuşuyor; yeni katılmak isteyenler için ortam daha zor hale geliyor
    • LLM’ler kod yazanlara yeterince iyi yardım edip insanların Stack Overflow’da daha az zaman geçirmesini, bunun yerine daha fazla açık kaynak kod göndermesini sağlıyorsa bu herkes için daha değerli olabilir

  • İnsanların Stack Overflow’a ücretsiz katkıyı azaltması doğal. Stack Overflow, OpenAI API anlaşması ve sayısız “AI” abartı blog yazısıyla katkıda bulunanları satıyor

    • Bence ana sebep bu değil. İnsanlar platformda oluşturdukları şeyi birilerinin satmasını pek umursamıyor. Facebook gibi büyük sosyal medya platformları yıllardır bunu yapıyor ama hâlâ kullanılıyor. Stack Overflow’a cevap almaya geliniyor; sonradan birilerinin o cevaplarla LLM eğitmesini neden umursasınlar ki
    • Bu, cevapların azalmasından çok soruların azalmasına daha yakın görünüyor
    • Analiz dönemi Mayıs 2023’e kadar olduğu için OpenAI anlaşmasından 1 yıl önce. O anlaşmanın makalenin sonuçlarıyla ilgisi yok
    • Zaten yaklaşık 2014’ten beri süren uzun vadeli trendin üzerine eklenmiş bir şey. Soruların kalitesi ve niteliği, yani site yönergelerine uymayan ve sitenin nasıl işlemesi gerektiğini anlamaya çalışmaktan da yoksun sorular hakkındaki rahatsızlık sürekli büyüyordu

  • Kişisel olarak açık kaynak projelerle ilgili soruların önemli bir kısmı GitHub ve Discord’a taşındı; LLM dışında da platform kayması var
    Daha genel programlama sorunlarında genelde Gemini ile başlıyorum. Sorunuma ait terimlerle doğrudan cevap verdiği için birden çok sayfayı dolaşıp birleştirmem gerekmiyor; yanılıyor olsa bile aramaya başlamak için çoğu zaman daha iyi ipuçları veriyor. Başlığı benzer ama içeriğinde önemli farklar olan Stack Overflow yazılarına defalarca tıklama zahmetinden kurtarıyor

    • 2022: Discord kötü, çünkü arama motorları tarafından indekslenmiyor
      2024: Discord iyi, çünkü AI çöpü üreticileri tarafından indekslenmiyor
    • Açık kaynak proje sorularının GitHub ve Discord’a taşınması tamamen aynı deneyim. Üstelik yöneticilerle doğrudan konuşabilmek güzel oldu

  • Birkaç teknik subreddit’e üyeyim; son 2 yılda aynı sorunun birden fazla subreddit’e yayıldığını çok gördüm. Hesap ya yeni açılmış oluyor ya da tüm yanıtlar otomatik üretilmiş gibi görünen tipik tek satırlık cevaplar oluyor
    Bunları yapay zeka eğitimi için bot hesaplar olarak görüyorum; uzun teknik açıklamalar yazmadan önce gerçekten bir insanın mı sorduğunu kontrol edip ancak ondan sonra yanıtlıyorum

    • Her hâlükârda eğitime katkı sağlıyoruz
      Sonunda WWW üzerinden “hediye kültürü”, “bilgi özgür olmalı”, F/OSS vb. şeylerin başarısı, Stallman tarzı hacker etiğinin tamamını kötü gösterecek gibi
      Hepimiz IBM^H^H^HOpenAI için çalışıyoruz ama artık arkamızda GPL gibi bir şey yok

  • Déjà vu hissediyorsanız, bu konu eleştirmenlerin Temmuz 2023’te “Are Large Language Models a Threat to Digital Public Goods? Evidence from Activity on Stack Overflow” ile zaten epey öne çıkardığı bir şeydi: https://arxiv.org/abs/2307.07367
    HN’de de ele alınmıştı: https://news.ycombinator.com/item?id=36763718

  • Nihayetinde büyük dil modelleri açık kaynağın sonu olacak. Bunu kabullenmek gerek
    Büyük dil modelleri fikrî mülkiyeti toplulaştırmak ve ara değerleme yapmak için kullanılıyor. Bu süreçte yazara veya silsileye dair bir takdir de, kaynak gösterme ya da atıf da yok. Fiilen, model eğitiminde kullanılan fikrî mülkiyet anonim bir ortak mala dönüşüyor
    Açık kaynak çalışmaları için motivasyon olabilen sosyal ödüller, örneğin kredi ve saygı, zayıflıyor. İş böyle bitecek

    • Neden LLM ile daha fazla açık kaynak yazmayalım ki?
      Katkı maliyeti dramatik biçimde düşüyor. Örneğin 100 dolar karşılığında 200 milyon GPT-3.5 token’ı alınabiliyor; bu da 20 bin satırlık bir projede her satırı geliştirmek için 10 bin token harcamak demek
      Tek bir bağış ve bir öğleden sonra iş akışı çerçevesi yönetimiyle mümkün olan orta ölçekli bir proje
    • Bu bakış açısını anlamıyorum
      LLM açık kaynağın sonuysa, bunun nedeni tam da söylendiği gibi fikrî mülkiyeti toplulaştırıp ara değerleme yapması ve yazar, silsile, kaynak gösterimi olmadan eğitilmiş fikrî mülkiyeti anonim bir ortak mala dönüştürmesi olurdu
      Ama bu doğruysa ve buna izin verilmeye devam edilirse, telif hakkına dayanan tüm fikrî mülkiyet aynı şekilde tehdit altında demektir. Bu açık kaynağa özgü bir sorun değil. Açık kaynak olmayan eserlerin, “kaynağı” ya da onun karşılığını gizli tutarak korunacağı kastediliyorsa, kimseye gösteremeyeceğiniz gişe filmlerinden ya da kimsenin okumasına izin vermemeniz gereken romanlardan nasıl para kazanılacağını bilmiyorum
      Kredi ve saygı açık kaynak çalışmasının tek motivasyonu değil; en yaygın motivasyon olup olmadığından da şüpheliyim. Bu tür ödüller, açık kaynağı bir sosyal ağ hâline getirmek ya da oyunlaştırmak isteyen aktörlerin çizmek istediği imaja daha yakın
      Bunların neden ortadan kalkması gerektiği de belirsiz. Kameranın icat edilmesi portre ressamının sanatsal keyfini ortadan kaldırmadı. Salt parasal motivasyonlar darbe alabilir, ama bu da açık kaynağa özellikle özgü bir motivasyon olmaktan çok uzak
    • Öyle değil; zaten yeterince niş olan açık kaynağı daha da niş hâle getirmekten ibaret

  • LLM eğitimi için değer kazanan insan üretimi metin derlemlerini kapalı bahçe olarak tutmaya çalışmak kaybedilmiş bir savaş. Atın çoktan ahırdan çıkmış olma ihtimali yüksek
    Yine de bunun geçici bir sorun olduğunu düşünüyorum. LLM’ler geçiş dönemi teknolojisi. Bir gün Reddit’in tamamını ve bugüne kadar yazılmış her şeyi olduğu gibi eğitmeye gerek kalmayacak. Bu tür istatistiksel modellerin bariz sınırları var ve insanlar böyle öğrenmiyor. İnsan ömrü boyunca yüzlerce, belki binlerce kitap okumuş olabilir ama bir milyon kitap okumamıştır; buna ihtiyaç da yok
    İlginç olan, bu meselenin açıkça hırsızlık olmasına rağmen, veriyi “sahiplenen” site ya da şirketten hırsızlık olarak ele alınması; onu üreten kullanıcılardan hırsızlık olarak görülmemesi. Kullanıcı üretimi içerik siteleri eninde sonunda başarısız olmaya mahkûm. Çünkü motivasyonları kullanıcılarla uyuşmuyor ve bitmek bilmeyen kâr arayışı kaçınılmaz olarak kullanıcıları uzaklaştırıyor
    Bir başka sorun da fikrî mülkiyetten ne kadar tüketmenin hırsızlık sayılacağı. Bir LLM bugüne kadar yapılmış tüm filmleri izlediyse bu muhtemelen hırsızlıktır. Ama kaç filmden sonrası fazla sayılır? Apocalypse Now, Heart of Darkness’a gevşek biçimde dayanıyor ya da ondan ilham alıyor; ama bir insan Heart of Darkness’ı okudu diye buna “hırsızlık” diyemeyiz
    Denildiği gibi, tüm sanat türevseldir

    • Katılıyorum, ama insan zekâsının işleyiş biçimine fazla ayrıcalık tanıyor da olabiliriz. LLM, insanüstü hızda içerik çıkaran bilgili bir çok yönlü kişi
      Şiir ve edebiyat üretebilir; kod, fizik yanıtları ve araba tamiri yanıtlarını da benzer şekilde üretebilir. Günümüzde bu yeteneklere sahip insan çok nadir
      Bu yüzden LLM’nin geçiş dönemi niteliğinde olduğuna katılıyorum; ama bazal gangliyonlardan neokortekse uzanan beynin geçişselliğine benzer bir anlamda. Geleceğin genel amaçlı yapay zekâ beyinlerinde LLM’nin başka unsurlarla birlikte yer alma olasılığı yüksek; ancak mutlaka insan beyni gibi çalışacak şekilde evrilip evrilmeyeceği açık değil
    • Çevrimiçi forumlar bazen niş durumlar ve uç vakalar için çözümler bulabileceğiniz tek yer olabiliyor. Bunlar tek başınıza keşfetmesi çok zor olacak püf noktaları
      LLM’ler bir aracın ya da kütüphanenin resmî dokümantasyonunu öğrenebilir; ancak teknoloji sektöründe fazlasıyla yaygın olan tuhaf sorunları bizzat deneyip çözümünü bulamaz. İnsanlar bu çözümleri birbirleriyle paylaşmayı bırakırsa bu büyük bir sorun olabilir
    • “İnsanlar böyle öğrenmez” meselesini son zamanlarda çok düşünüyorum
      Örneğin pekiştirmeli öğrenme ve üretici çekişmeli ağlar kullanarak, bir belge kümesine dayanıp BT görevlerini yerine getiren ve uygunluğunu yalnızca görevin doğrudan başarısıyla değil, aynı zamanda hiç bağlamı olmayan kendi kopyasının da o görevi iyi yapmasını sağlayacak yeni ve daha iyi rafine edilmiş belgeler üretebilme becerisiyle ölçen bir yapay zekâ eğitmek mümkün mü diye merak ediyorum
    • “Finite and Infinite Games” gibi kitapları düşününce, başka alanlarda okuduklarımızdan yola çıkarak o kitabın bilgisini ve temel argümanını bir ölçüde “yeniden kurabileceğimizi” düşünüyorum
      Farklı ruhani guruların aynı şeyi farklı sözlerle ifade ettiğini duymak, bir kaleydoskopta aynı renkli cam parçalarının yeniden düzenlenip yeni desenler oluşturmasını izlemeye benziyor
    • Yarı yarıya doğru. Akıl yürütme ve gerçek anlama LLM’lerin güçlü yanı olmayabilir, ama okudukları her şeyden iyi bilgi çıkarabilmeleri ilginç. Ben bunun yalnızca çok küçük bir kısmını okudum. Aptal olabilir ama hafızası iyi
      Bu yüzden gelecekteki yapay zekâ da bugünkü ChatGPT gibi ortalama insanların neredeyse her konuda tavsiye istediği bir araç olarak kullanılacaksa, eninde sonunda her şeyi okuması gerektiğini düşünüyorum

  • İnsanlar ziyaret etmedikleri yerlere yazı göndermez
    İyi bilinen materyaller, özellikle de popüler diller söz konusu olduğunda Stack Overflow’u ziyaret etmemenin nedeni, perplexity.ai, ChatGPT, Claude vb.’nin yalnızca Stack Overflow sayfalarını okumaktan daha iyi yanıt vermesi değil; doğru ya da yanlış, yanıtı daha hızlı kopyalayıp yapıştırılabilir hâle getirmesidir
    Soru sormak için Stack Overflow’da değilseniz, orada yanıt da vermezsiniz. Gözlenen sonucu açıklamak için başka bir nedene gerek yok
    Elbette bu, Stack Overflow ve diğer Q&A forumlarının rekabet etmek istiyorsa yanıt kullanılabilirliğini, yani yanıtı iş akışına entegre etme kolaylığını en üst önceliğe çıkarması gerektiği anlamına geliyor

    • Yapay zekâ ile rekabet etmek, Stack Overflow topluluğunun ve kullandığım diğer Q&A forumu Codidact’in açıkça hedeflemediği bir şey
      Yapay zekâ “sorulara daha iyi yanıt veriyor” değil. Sadece soruyu yorumlama ve yanıt biçimindeki sözcüklerle eşleştirme ara adımını ortadan kaldırıyor. Sık sık halüsinasyon görüyor ve ne yapılmak istendiğine dair geçerlilik kontrolü fiilen yapmıyor
      Q&A forumlarına kıyasla hız ve kolaylıkta üstün olmasının başlıca nedeni, sorunun ve yanıtın daha sonra başkalarına yardımcı olup olmayacağını hiç önemsememesi. Arama motorlarıyla bulunabilir olma, başkalarının bunu aynı soru olarak anlayabilmesi ve tek bir meseleye odaklanması gerekliliklerini dikkate almıyor
      Zaten bunun için tasarlanmadı ve böyle bir çıkarı da yok. Bir sonraki kişi sorduğunda aynı yanıt içeriğini başka bir düşük kaliteli biçimde yeniden üretebilir. İnsan uzmanların aksine yapay zekâ bu işten yorulmaz