- Hacker News'teki gönderi duygu analizi araştırmasında toplamın yaklaşık %65'i negatif duygu olarak sınıflandırıldı ve bu gönderiler ortalama olarak daha yüksek puan aldı
- Negatif gönderilerin ortalama puanı 35,6, genel ortalama ise 28 olarak ölçüldü; böylece yaklaşık %27'lik bir performans primi doğrulandı
- Analiz, 32.000 gönderi ve 340.000 yorum üzerinde yürütüldü ve 6 farklı modelde tutarlı bir negatif eğilim görüldü
- Kullanılan modeller arasında DistilBERT, BERT Multi, RoBERTa, Llama 3.1 8B, Mistral 3.1 24B, Gemma 3 12B yer alıyor; nihai dashboard ise verimlilik nedeniyle DistilBERT sonuçlarını kullanıyor
- Teknik eleştiri, sektörel memnuniyetsizlik, API kaynaklı hayal kırıklıkları gibi yapıcı eleştiri merkezli bir negatiflik baskın; bu da etkileşim ile tartışmalılık arasındaki ilişkiye işaret ediyor
Hacker News duygu analizi sonuçları
- Hacker News gönderilerinin ortalama puanı 28, negatif duygu taşıyan gönderiler ise ortalama 35,6 puanla daha yüksek etkileşim kaydetti
- Negatif gönderilerin performansı genel ortalamaya kıyasla %27 daha yüksek
- Araştırma, HN (Hacker News) dikkat dinamiklerini ele alıyor; buna sönümlenme eğrisi, tercihli bağlanma, hayatta kalma olasılığı, erken etkileşim tahmini gibi başlıklar dahil
- İlgili preprint makale SSRN'de yayımlandı
Veri ve model yapısı
- Analiz kapsamı 32.000 gönderi ve 340.000 yorum
- Toplamın yaklaşık %65'i negatif duygu olarak sınıflandırıldı
- Araştırmacı, sınıflandırıcının negatife eğilimli olabileceğini belirtti; ancak aynı eğilim 6 modelin tamamında doğrulandı
- Kullanılan modeller DistilBERT, BERT Multi, RoBERTa (transformer tabanlı) ile Llama 3.1 8B, Mistral 3.1 24B, Gemma 3 12B (LLM tabanlı)
- Duygu dağılımı modele göre değişse de negatife kayma ortak biçimde korundu
- Nihai dashboard, Cloudflare tabanlı pipeline üzerinde verimli çalışan DistilBERT sonuçlarını kullanıyor
Negatif duygunun tanımı ve özellikleri
- “Negatif” olarak sınıflandırılan içerikler arasında teknik eleştiri, duyurulara yönelik şüphecilik, sektör pratiklerine dair memnuniyetsizlik, API ile ilgili hayal kırıklıkları yer alıyor
- Negatifliğin büyük bölümü kişisel saldırı değil, somut eleştirilerden oluşuyor
- Teknik eleştiri, kişisel saldırıdan farklı bir karakter taşıyor
- Araştırmacı, negatifliğin etkileşimi tetikleyip tetiklemediği ya da tartışmalı içeriğin hem negatif ifadeleri hem de ilgiyi aynı anda çekip çekmediği konusunda her iki olasılığı da kabul ediyor
Yakında yayımlanacaklar
- Araştırmacı, tüm kodu, veri setini ve HN arşivcisi için dashboard'u yakında yayımlamayı planlıyor
2 yorum
İnsanlar dedikoduya ve gürültüye daha çok ilgi duyuyor. [included aceleci genelleme]
Hacker News görüşleri
OP'nin sınıflandırıcısının sonucu etkileyen iki varsayım yaptığını düşünüyorum
Şu anda eleştirel bir yorum yazıyorum ama bu mutlaka “negatif” olduğu anlamına gelmiyor. Hatta tam tersine, OP'nin verileri ve sonuçları net olduğu için eleştiri mümkün oluyor. Bu tür yapıcı eleştiri zaten iyi bir tartışmanın göstergesi bence
Şüpheci tutumun negatif diye sınıflandırılması kısmen doğru. SST-2 eğitim verisi eleştirel değerlendirmeyi negatif kabul ediyor. Ama burada “negatif”, düşmanca değil değerlendirici anlamında. HN'nin eleştirel kültürü bu tür modellerde negatif okunuyor ama teknik söylemin doğası gereği bu doğal bir durum.
Nötrlük, 0.5 civarında sürekli bir skor olarak mevcut. HN kullanıcıları güçlü pozisyon alma eğiliminde olduğu için iki uca yığılmış bir dağılım ortaya çıkıyor. İleride 3 sınıflı bir modeli denemek faydalı olabilir.
Senin yorumun eleştirel ama yüksek kaliteli bir tartışma örneği. HN'deki negatiflik düşmanlık değil, katılımı tetikleyen yapıcı eleştiri diye düşünüyorum
DistilBERT SST-2 model bağlantısı
Benim paylaştığım negatif gönderiler, nötr veya pozitif olanlardan daha iyi performans gösterdi.
“Richard Stallman is Dead” başlığı en yüksek tıklanma oranını aldı ve başka bir model de yorum/oy oranının 0.5'in üstünde olma olasılığını tahmin ediyordu. Clickbait, cinsiyet tartışmaları ve otomobille ilgili konular özellikle güçlüydü.
Ortalama puanın 35 olması zor inanılır geliyor. Eskiden ortalama 8 civarıydı; örnekleme ölçütünün ne olduğunu merak ediyorum
0 puanlı gönderiler eksik kalmış olabilir; bu da ortalamanın yüksek çıkmasına yol açmış olabilir. Geri bildirim için teşekkürler, makale yayımlanmadan önce bunu gözden geçirmeyi planlıyorum. Senin sınıflandırıcın da ilginç
Yorumlarda da benzer bir olgu görüyorum. Kısa ve alaycı yorumlar, uzun analiz yazılarından çok daha iyi tepki alıyor.
Emek verilmiş uzun yorumlar görmezden gelinirken, anlık yazılmış kısa yorumların “patladığını” görmek çoğu zaman hayal kırıklığı yaratıyor
HN şakalardan hoşlanmaz, yalnız yanında açıklama varsa istisna olabilir
Bir blog yürütürseniz bu etkileşim ölçütlerini daha iyi hissedebilirsiniz bence
Eğer “negatif”, teknik eleştiri, sektörel şikâyet ve API kaynaklı hayal kırıklığını da kapsıyorsa HN'deki tartışmaların çoğu bu kategoriye girer.
Bir OpenAI tanıtım gönderisine sadece “beğendim” yazmanın anlamı yok; asıl değerli katılım eleştirel analizdir.
Yorum almayan popüler gönderiler bence sitenin düzgün çalıştığının bir göstergesi bile olabilir
Kendimizi negatif tepkileri tercih edecek şekilde filtreliyoruz. Pozitif içerik kendi içinde tamamlanmış oluyor ve tepki üretmiyor ama negatif içerik etkileşim doğuruyor
Bu yüzden negatif haberlere daha çok çekiliyoruz, pozitif haberleri ise sadece aşağı kaydırıyoruz. Bu, dikkat ekonomisinin özü
Teknik eleştiri kişisel saldırıyla aynı şey değil. HN'deki negatifliğin çoğu yapıcı eleştiri.
Alaycılık fazla kaçınca mutlaka “şikâyet edenlerden şikâyet etme” de ortaya çıkıyor.
Bence övgü duymaktansa “dişinde bir şey kalmış” denmesini duymak daha iyi
HN'nin moderasyonu, düşmanca içerikleri hızlıca kaldırdığı için geriye çoğunlukla üretken eleştiri kalıyor.
İlginç olan şu ki bu tür “negatiflik”, %27 daha yüksek etkileşim oranıyla ilişkili. Yani teknik topluluklar tanıtımdan çok eleştiriyi değerli buluyor.
Makalede “negatif duygu”nun, SST-2 modeline göre toksik söylem değil değerlendirici eleştiri anlamına geldiğini açıkça belirtmeyi planlıyorum
Eskiden Reddit API erişimi mümkünken, rif okuyucu uygulamasıyla negatif duygu taşıyan subreddit'leri engellemeyi denemiştim.
Yüzlercesini engelleyince geriye sadece hayvanlar ve hobilerle ilgili pozitif içerikler kaldı. Bunun sayesinde Reddit'in ne kadar negatiflik odaklı olduğunu fark ettim; ama aynı zamanda o negatiflik çıkınca ortamın epey sıkıcılaştığını da gördüm
Engelleme listesi bağlantısı
Bu tür gönderiler sanki botların botlarla konuştuğu bir his veriyor. Reddit'in reklam gösterimini artırmak için bu yapıyı bilerek sürdürdüğünden şüpheleniyorum
İnternette yakınmak ya da birini düzeltmek kadar güçlü bir kombinasyon yok.
ESL (English as a Second Language) kullanıcısı olarak internette öğrendiğim ilk terim “flamewar” olmuştu
Makaleye göre HN'de ilgi eşitsizliği çok yüksek. Gini katsayısı 0.89; bu da Twitter'dan bile yüksek
Bunun nedeni muhtemelen HN'nin görünürlük yapısı. Yeni gönderiler /newest'te başlıyor ve ilk aşamada az sayıdaki kişinin dikkatini çekemezse fiilen kayboluyor.
Reddit'teki gibi varsayılan bir görünürlük yapısından farklı olarak HN'de ana sayfaya çıkmak için ilk eşiği geçmek gerekiyor
Mühendislerin işi problem çözmek olduğu için doğal olarak eleştirel düşünmeye yatkınlar.
Sektör fuarlarında mühendisler kollarını bağlayıp daha mesafeli yaklaşıyordu ama maker topluluğu pozitif enerjiyle doluydu.
Sonuçta mesele “bardağın yarısı boş mu dolu mu” farkı