HN topluluğunda kimin ne bildiğini bulmak için Hacker News haritalaması

Hacker News'ta kimin ne bildiğini bulmak için 40 milyon embedding

Projenin arka planı

• Önceki bir yazıda, topluluğun anlamsal haritasını oluşturmak için Hacker News'taki 40 milyon gönderi ve yorum embedding'e dönüştürüldü
• Topluluğun projeyi desteklediği ve öneriler üzerinden dünyanın dört bir yanında gerçek ilişkilere hızla daraldığının fark edildiği belirtildi
• Robert ile yapılan bir konuşmada, onun 2008'de sosyal anlamsal algoritmalar kurmaya yönelik çalışması ele alındı
• 16 yıl sonra bile Hacker News gibi sosyal ağların konu bazında güvenilir sesleri hesaplayıp göstermemesinin şaşırtıcı olduğu ifade edildi

Temel sorular

• Neden belirli bir konu hakkında en çok bilgi sahibi olan insanları keşfetmek ve incelemek zor?
• Onların bilgi kapsamı ve benzer düşünen insanlarla ilişkileri nasıl görünüyor?

Yeni uygulama özellikleri

• Yeni uygulama üzerinden Hacker News'un anlamsal haritası keşfedilip etkileşim kurulabiliyor (hn2.wilsonl.in)

Bulunan ilginç noktalar

• Kullanıcıların anlamsal olarak düzenlenmesi: Topluluğun anlamı kullanıcılardan başlanarak, benzer kullanıcılarla birlikte HN katkılarının anlamsal olarak gösterilmesi
  • Örnek: robg'nin yeni profiline bakılabilir
• Anlamsal arama: HN'nin anlamı, kimin ne bildiğine göre aranabiliyor
  • Örnek sorgular: startup'lar, Go vs Rust programlama, nörobilim ve uyku, e-posta pazarlaması
• Topluluk haritalama: Kimin ne bildiğiyle ilişkili anlam temelinde topluluk haritalanabiliyor
  • Bilgi eşit dağılmadığı için, topluluğun topografyası üzerinden insanlar ve bildikleri şeyler öne çıkarılabiliyor

Teknolojinin potansiyeli

• Anlamı düzenleme, arama ve topluluğu haritalama şeklindeki üç işlev birleştirildiğinde, kelimelerin arkasındaki insanları gösterebilir
• Dünyanın bilgisini düzenlemek yerine, dünyanın insanları düzenlenebilir
• Çeşitli toplumsal bilgi zorlukları üzerine düşünmeye sevk ediyor
• Projede daha fazla ilerleme kaydedildikçe birlikte keşfetmek isteyenlerin bekleme listesine katılması öneriliyor

GN⁺ özeti

• Bu proje, Hacker News topluluğunun anlamsal haritası üzerinden belirli konulardaki uzmanları bulup incelemenin bir yolunu sunuyor
• Kullanıcı katkıları anlamsal olarak analiz edilerek benzer kullanıcılarla ilişkileri görselleştiriliyor
• Arama işlevi sayesinde belirli konularda bilgi sahibi kişileri bulmak kolaylaşıyor
• Topluluğun topografyası üzerinden insanlar ve bildikleri şeyler öne çıkarılıyor
• Proje, insanları birbirine bağlamak ve bilgiyi paylaşmak için yeni bir yöntem sunuyor

[GN⁺]

Hacker News yorumları

• Kişisel olarak HN’in tek tek kullanıcılardan çok içeriğe ve tartışmaya odaklanmasını seviyorum. Uzmanları takip etmek istesem Mastodon gibi bir sosyal ağda doğrudan bir liste oluşturur ya da RSS akışlarını zorla bir araya getirirdim.
  Bu araç, bilgili uzmanlardan çok aktif yorumcuları daha iyi ayıklıyor gibi görünüyor; tek kullanımlık hesap sorunu da var. Yine de harika bir proje.

  • Şahsen kullanıcı adlarını okumuyorum. Yorumlara odaklanmanın en kolay yolu bu; avatar veya imza gibi şeylerin olmaması da çok yardımcı oluyor.
    HN’de kiminle tartıştığımı hiç hatırlamıyorum ama mutlaka birkaç kez olmuştur.
  • Aynı hissediyorum. Burada avatar vb. olmaması ve bu sayede içerik odaklı olması hoşuma gidiyor.
    Aynı zamanda asıl gönderideki projenin de harika olduğunu düşünüyorum.
  • En ilginç olan şey muhtemelen boş alan olacaktır. Çünkü yokluğun eğilimlerini fark etmek en zorudur. Hacker News’in ölçülebilir biçimde kaçırdığı kör noktalar neler?
  • Takip edilecek uzman listesini elle kürate etmek epey çaba gerektiriyor. Buna yardımcı olacak bir araç olsa iyi olurdu.
    İdeal olarak güvenilecek uzman listesi olmadan sadece içeriğe bakmak yeterli olurdu; ama eskiden arama motoruna “kullanılacak en iyi veritabanı hangisi” yazınca yararlı sonuçların çıktığı bir dönem de vardı. Artık değil. HN hâlâ başka yerlere göre daha iyi olabilir, ama nihayetinde benzer sorunlar yaşıyor.
  • Benzer ilgi alanlarına sahip insanlarla daha derin bağ kurulabilmesi için sosyal katmanın bir adım yukarı taşınabileceğini düşünüyorum.
    Böylece yalnızca katkıları saymakla kalmaz, o katkıların başkalarıyla nasıl bağlantı kurduğunu da hesaplayabilirsiniz.

• https://hn2.wilsonl.in/user/simonw sayfasındaki haritanın alt tarafında “Piyanolardan COVID riski” yer alıyor. Bunun nereden çıktığını gerçekten bilmek isterim.

  • Şu yorumun özeti gibi görünüyor: https://news.ycombinator.com/item?id=30105274
    Haritadaki ilgili konum/metin üzerinde kırmızı imleci büyütüp hareket ettirirseniz, haritanın altında orijinal yorum görünüyor.
  • Acaba COVID nedeniyle piyano oluşma riski de var mı?
    Pandemi başladığında insanların evde yapacak hobi aramasıyla gitar ve ev tipi spor ekipmanı satışlarının artması gibi.
  • Benim sonuçlarım oldukça isabetli görünüyor. RDP hızlandırma, 3D yazıcı firmware’i, dokunmatik ekran Graffiti hareketleri, SBC’lerde ana hat Linux çıkıyor; hepsi hobilerim.
    Asıl işim olan bulut mimarisi, ağlar ve aşırı kalabalık bir alan olan yapay zeka hakkında neredeyse hiç yorum yapmıyorum. Tuhaf biçimde Apple ile ilgili neredeyse hiçbir şey yok; blogumu düşününce bu epey ironik. Yani bu araç insanların burada ne tartıştığını gösteriyor, ama mutlaka ne bildiklerini göstermiyor.
  • Noktaları daha etkileşimli hâle getirmenin yardımcı olup olmayacağını merak ediyorum.

• https://hn2.wilsonl.in/user/c0l0 — Görünüşe göre klozet kapağı tasarımı optimizasyonu alanında önde gelen bir uzmanım. Bana her şeyi sorun.

  • Burada bir çift kademeli sifon düğmesi tasarımı otoritesi varken sanırım geri çekilmek gerek.
  • Neyle, tam olarak neyle tanındığımı belirliyorsunuz?
    Benim sayfamda inanılmaz çok sayıda öğe var: https://hn2.wilsonl.in/user/AndrewKemendo
  • Benim sonuçlarım tamamen saçma sapan bir karmaşa. Düşününce mantıklı aslında. Ben de öyleyim.
    https://hn2.wilsonl.in/user/SketchySeaBeast
  • O hiçbir şey değil. Ben şömine verimliliği karşılaştırmalı analizi konusunda dünyaca ünlüyüm.
    Embedding’leri oluştururken IDF kullanıp nadir kelime kümelerine aşırı büyük ağırlık mı verdiler acaba diye merak ediyorum.

• Yakın tarihli ilgili yazı:
  Show HN: Eğlence için 40 milyon HN gönderi ve yorumunu haritalayıp analiz ederek HN’de gezinmek - https://news.ycombinator.com/item?id=40307519 - Mayıs 2024, 159 yorum

  • HN’nin 16 yıllık zaman ve dünya ölçeğindeki mesafeyi aşarak Wilson ile beni birbirimize bağlaması şaşırtıcı.
    HN gibi topluluklar olduğu için internette güvenin geleceği konusunda umutluyum.

• Profil metnimden e-postamı çekip mailto: bağlantısına dönüştürmüş gibi görünüyor; bugünün LLM standartlarına göre yeterince gizlenmemiş olduğunu kabul ediyorum.
  Yine de toplamayı daha kolay hâle getirmiş oldunuz; düşük eforlu spam’ciler adına teşekkür mü etmeliyim, bilemedim.

  • mailto: bağlantılarını kazıyan düşük eforlu spam botları hâlâ gerçekten var mı, yoksa e-posta gizlemeyi cargo cult gibi sürdürmeye mi devam ediyoruz, merak ediyorum.
    O dönemden beri spam gerçekten çok değişti; bu strateji hâlâ kullanılıyor mu?
  • Temel bir LLM bile 2000’ler tarzı e-posta gizleme denemelerini çözebilir gibi geliyor.
    Örneğin bir arkadaşımın popüler blogunun iletişim sayfasına “firstname [cute arobase sign] domain.com” diye yazması türünden bir gizleme.
  • Genelde böyle şeyleri pek önemsemem ama bu iyi değil. Benimkine de aynı şeyi yapmış.
    Bu özellikten opt-out olmanın bir yolu var mı?
  • Benim durumumda base64 çözme başarısız olmuş.

• Birkaç yıl önce burada paylaşılmış, epey tartışma yaratan bir aracı hatırlıyorum. Üslup analizi ve stilometri ile “benzer kullanıcıları” buluyor; kullanıcı adını girince muhtemelen aynı kişinin yan hesaplarını buluyordu.
  Ürpertici derecede isabetliymiş; en azından yan hesabı olan bir arkadaşımdan öyle duydum. Bu araç da böyle bir amaç için kullanılabilir mi? Her kullanıcı avatarında render edilen “haritayı” vektör olarak kodlayıp diğer kullanıcılarla karşılaştırmak mümkün gibi görünüyor.
  Düzenleme: Bir dakika, az önce zaten bunu yapıyor gibi olduğunu fark ettim. “Explore More Users”ın benzerlik sırasına göre olup olmadığı hemen anlaşılmıyor gerçi

  • Yan hesapları bu şekilde bulma ihtimali daha düşük olabilir. Çünkü insanlar genelde ana hesaplarıyla ilişkilendirmek istemedikleri tartışmalara katılmak için yan hesap kullanır
    İşveren, siyaset ve diğer konular gibi; yan hesabın katıldığı başlıkların farklı olma olasılığı yüksektir. Buna karşılık üslubun işe yaramasının nedeni, çabalasa bile kendi üslubunu kökten değiştirebilen kişinin çok olmamasıdır
  • Muhtemelen şu idi: https://news.ycombinator.com/item?id=33755016
  • Birkaç yıl önce bu işi yapan bir sistem yapmıştım: https://x.com/austingwalters/status/1041894765439201281
    İronik biçimde o zaman da, o zamandan beri de neredeyse sadece embedding kullandım ama bu sistem embedding kullanmıyor. Embedding’lerin temel sorunu zaman içinde iyi değişmemeleri. Ayarlanabilirler ama başka yöntemler kadar kolay değil. Dil, sektöre özgü kısaltmalarla dolu ve modeller değişen ifadelere ve kısaltmalara uyum sağlamakta genel olarak zayıf. Sonunda birkaç şeyi daha birleştirip bunu bir şirkete dönüştürdük: https://ipcopilot.ai
    Şu anda demo için Hacker News’te fikir arıyorum: https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
  • Kullanıcıyı bir ölçüde özetleyen bir yaklaşım ilginç olabilir
    Örneğin user123 oldukça komik, tutarlı konuşuyor, TypeScript ve web geliştirmeye ilgi duyuyor, sorumluluk ve dışadönüklük puanları yüksek gibi
  • İlginç ama bana da biraz ürkütücü geliyor. Bunu azaltmak için nasıl daha iyi yapılabileceğini bilmek isterim

• Kullanıcı adım, 『Zen and the Art of Motorcycle Maintenance』 kitabındaki anlatıcının diğer benliğinden geliyor. Analizin bıçağı hakkındaki pasajla ilgili
  “Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
  İsmin kaderi mi yarattığını, yoksa kendimi bildiğim için mi o ismi seçtiğimi, ya da bu kelimeleri çok fazla mı kullandığımı bilmiyorum ama anahtar kelimelerimde “part, system, level, language, article, object” gibi şeyler var

• Kendi kullanıcı adımla gerçekten derine inmek biraz zordu; haritanın her yanına çok sayıda nokta serpiştirmek dışında pek bir şey gösteriyor gibi görünmüyor
  Tüm kümenin ne olduğunu anlamaya çalışıyorum ama çoğu sadece android/apple/google gibi görünüyor: https://hn2.wilsonl.in/user/mmastrac

  • Yani Apple, Google, Tesla konusunda uzmanlığım olması pek de benzersiz değil mi?

• İlginç. En çok oy alan yorumumun hukuki bir soru hakkında olduğunu fark etmiştim. Çünkü o alanda HN kullanıcılarının çoğundan nispeten daha fazla uzmanlığım var. Eskiden avukattım
  Bu araca göre law/legal/lawyer için en üst yorumcular arasında değilim ama üst sıralardaki bazı isimleri kesinlikle tanıyorum ve onları hukuk başlıklarında gördüğümü hatırlıyorum. Epey güzel bir araç

  • HN API’sinde yorum puanları da yer alıyor mu?

• HN’nin en iyi yanı, yorumların oldukça geçici hissettirmesi. Rızam olmadan analiz edilip herkese açık şekilde sergilenmesinden hoşlanmıyorum
  O sayfada benimle ilgili özellikle ilginç bir şey yok ama tuhaf hissettiriyor. Her şeyi analiz etmek zorunda değiliz; her yerde rekabet etmek zorunda da değiliz. Demek istediğim, içeriğe odaklanılmasını ve kimin söylediğinin merkezde olmamasını seviyorum. Bunu görünce profilimden Twitter kullanıcı adımı sildim. Uygulamada bunu da güncellerseniz memnun olurum

  • “Yorumların oldukça geçici hissettirmesi” ifadesiyle ilgili olarak, baktığım sayfada HN yorumu varsa ışığı yanan bir Google Chrome eklentisi kullanıyorum
    Bir blog yazısını doğal şekilde keşfettiğimde ve o gösterge yanarsa, yazı yıllar önce yayımlanmış olsa bile yorumları sık sık okurum. Çoğu zaman faydalı içgörüler veya bağlam elde ediyorum
  • Bunu okuyan herkes için not: Yorumlar geçici olmanın tam tersidir. Çok kısa bir ilk süreden sonra silinemez veya düzenlenemezler
    Bu yüzden burada söylediğiniz her şey sonsuza kadar sizinle ilişkilendirilebilir ve gerçekten de ilişkilendirilebilir. Doğrudan ya da bu aracın gösterdiği gibi daha bulanık bir şekilde olabilir
  • O hissi biliyorum. Ben de öyle hissetmiştim
    Ama herhangi bir yorumda iki kez tıklayınca şu sorguya ulaşılabildiğini fark ettim: https://news.ycombinator.com/threads?id=RamblingCTO
  • Buradaki yorumlar hiçbir zaman geçici olmadı
    Hacker News’in kendisi yıllardır neredeyse ücretsiz bir gerçek zamanlı API ve birkaç büyük veri seti sağlıyor; bunun amacı, herkesin buradaki yorumları kolayca analiz edebilmesini sağlamak: https://github.com/HackerNews/API
    İnternete yazılan hiçbir yorum hiçbir zaman geçici olmadı. 20 yıldan uzun süre önce geçiciymiş gibi davranmayı bile bıraktılar