- Yakın zamanda Hacker News yeni hesaplarının yorum kalıpları analiz edildiğinde, mevcut kullanıcılardan belirgin biçimde farklı oldukları görüldü
- Yeni hesapların yorumlarının %17,47'sinde EM dash (—), ok işaretleri gibi özel semboller kullanılırken, bu oran mevcut hesaplarda %1,83 olup yaklaşık 10 kat daha yüksek çıktı
- Ayrıca yeni hesapların AI ve LLM ile ilgili kelimeleri anma olasılığı %18,67 ile, mevcut hesaplardaki %11,8 oranından daha yüksek göründü
- Analiz,
/newcomments ve /noobcomments verilerine dayanarak yaklaşık 700'er örneklemin karşılaştırılması sonucunda yapıldı
- Bu istatistikler, HN topluluğu içinde otomatik hesapların (botların) artıyor olabileceğine işaret ediyor
HN yorumlarında gözlenen anormallik işaretleri
- Son birkaç ayda HN'de botların hızla artmış gibi görünen bir durum gözlemlendi
- Bazı hesaplar yalnızca anlamsız dizeler veya sayılar paylaşıyor
- Örnek olarak “13 60 well and t6ctctfuvuh7hguhuig8h88gd…” gibi anlaşılması güç metinler ya da “1662476506”, “Аё” gibi tek karakterlik yorumlar buna dahil
- Bu hesapların dışında da normal görünüp garip, ya da konuyla uyuşmayan çok sayıda yorum bulunuyor
Veri toplama ve analiz yöntemi
/newcomments (son yorumlar) ve /noobcomments (yeni hesap yorumları) sayfaları scrape edilerek karşılaştırmalı analiz yapıldı
- Her gruptan yaklaşık 700 yorumluk örneklem toplanıp basit istatistikler hesaplandı
Başlıca istatistiksel sonuçlar
- Yeni hesap yorumlarının %17,47'si EM dash, ok işaretleri gibi özel semboller içeriyor; bu, mevcut hesaplardaki %1,83'e kıyasla yaklaşık 10 kat fark demek
- İstatistiksel anlamlılık p = 7e-20
- Yeni hesap yorumlarının %18,67'si AI veya LLM ile ilgili ifadeler içeriyor; bu oran mevcut hesaplarda %11,8
- İstatistiksel anlamlılık p = 0.0018
Yorum ve soru işaretleri
- İnsan kullanıcılar da EM dash kullanabilir, ancak yeni hesaplarda bunun aşırı kullanım oranını açıklamak zor
- Bu fark, HN'deki yeni hesapların bir kısmının otomatik üretilmiş hesaplar olabileceğini düşündürüyor
Referanslar
- Analizde kullanılan kaynak kod ve veriler GitHub deposunda(vlofgren/hn-green-clankers) açıklandı
- Marginalia.nu bu araştırmayı “Weird AI Crap” serisinin bir parçası olarak yayımladı
1 yorum
Hacker News görüşleri
Eskiden HN'de em dash ve en dash sık kullanılırdı
Sadece tipografiyi sevdiğim için noktalı virgül yerine dash kullanma alışkanlığım vardı
AHK ile klavye kısayolu ayarlamıştım ama artık bu yüzden yazdıklarım sanki bir LLM tarafından yazılmış gibi göründüğü sanılıyor
Birkaç kez AI sanıldığım oldu; eskiden keyif veren tipografi zevkimin artık olumsuz algılanması üzücü
Aslında sadece tam cümlelere, yazıma, dilbilgisine ve büyük harflere dikkat eden biri olmak yetiyor; artık dünya bunu AI gibi görüyor
Bugünlerde biraz dağınık yazmak insan olduğunun işareti haline gelmiş gibi. Geleceğin chatbotları da herhalde bunu öğrenecek
Cümleler biraz tuhaflaşıyor ama bu yüzden daha el işi bir sahicilik hissi veriyor ve bu hoşuma gidiyor
Ama cümle sonundaki iki boşluk alışkanlığından asla vazgeçmem. 1993'te daktilo öğretmenim cümlelerin de nefes alacak alana ihtiyacı olduğunu söylemişti
Mac'te yıllardır option+8 ile yazma alışkanlığım var ama artık bu da LLM tarzı gibi görünüyor
HN'deki yeni kullanıcı yorumlarında sık geçen kelimeleri istatistiksel olarak karşılaştırmışlar
“ai”, “actually”, “code”, “real”, “built” gibi kelimeler yeni hesaplarda çok daha sık görünüyor
Ayrıntılar veri tablosunda derlenmiş
Akademik olarak uygun değil ama burada ilginç bir içgörü olarak görülebilir
Bunun yerine Cohen’s d gibi etki büyüklükleri hesaplanırsa farkın gerçek boyutu anlaşılabilir
Çoğu zaman anlam taşımayan bir dolgu kelime ve yazının açıklığını azaltıyor
Bazı botların AI ile ilgili başlıkları yapay biçimde öne çıkarıyor olması ihtimali ortaya atıldı
Em-dash'i uzun zamandır severek kullanıyordum ama artık AI sanılırım diye kullanamamak can sıkıcı
Mac'te
alt+shift+-ile kolayca yazılıyor ama iyi bir tipografi alışkanlığının kirlenmiş gibi hissettirmesi kötüBunlar varsa hangi noktalama işaretini kullanırsan kullan metin yine insani görünür
Tipografiyi geri kazanalım diyerek Mac için Alt kodları rehberini paylaştılar
Sonuçta insanın kendine özgü ifade biçimi eninde sonunda ortaya çıkar
Veriler GitHub deposunda SQLite DB olarak açık biçimde yayımlanmış
Datasette Lite ile tarayıcıda doğrudan SQL sorguları çalıştırılabiliyor
Em-dash'i çok kullanan kullanıcıların listesine bakınca çoğu normal hesap gibi görünüyor
sourceeklenince, em-dash kullanımının yoğun olduğu green hesaplar dikkat çekiyorBu sadece HN'in değil, genel olarak anonim çevrimiçi tartışmanın krizi gibi hissettiriyor
Güven çökerse platformun kendisi de çöker
Kimlik doğrulama tek çözüm gibi görünüyor ama o da kusursuz değil
Blog yazımda bu fikri anlattım
Sonunda insan olduğunu kanıtlamanın gerekeceği bir döneme gidiyor olabiliriz
Yorumun değeri harcanan hash hesabıyla kanıtlanırsa, kimlik olmadan da güven kurulabilir
Botlar pozitif karma'yı koruyamazsa yetki alamaz; bu yüzden tam kimlik doğrulama olmasa bile savunma sağlanabilir
Son zamanlarda HN'de resmî ama sönük yorum kalıpları göze çarpıyor
“this is [özet] / not just x, it’s y / punchy ending” gibi bir yapı tekrar ediyor
Örnek olarak snowhale hesabına bakınca bu açıkça görülüyor
Bu, oy ağı kurup anlatıyı manipüle etme stratejisi olabilir
Arama sonuçlarında farklı hesapların aynı cümleyi tekrarladığı görülüyor
Sohbet bağlamını okumuyorlar ve yanıtlar tuhaf biçimde kopuk duruyor
İnsan gibi tarafsız görünse de içinde eğitim verisinin önyargıları var
Tam tarafsızlık belki de bir yanılsama
Prompt'a “benim gibi konuş, AI gibi yazma, kısa yaz” eklenirse işin yarısı çözülür
Hatta bu tartışma sayesinde birçok kişi em-dash diye bir şey olduğunu ilk kez öğrendi
Artık her cümleye em-dash koyan yeni insan kullanıcılar da epey arttı
Benim yakaladığım bot hesapların çoğu em-dash neredeyse hiç kullanmıyor
Örneğin aplomb1026 30 saniye arayla iki uzun yorum paylaştı
İlk yorum ve ikinci yorum bunu açıkça gösteriyor
Ayarlarında böyle bir hata olmasaydı büyük ihtimalle çoğu kişi fark etmeyecekti
Diğer bot örnekleri arasında dirtytoken7 ve fdefitte var
İngiliz edebiyatı mezunları em-dash'i çok uzun zamandır kullanıyor ama artık AI gibi görünürüz diye kendilerini tutuyorlar
Eğer AI bir de New Yorker tarzı diaeresis kullanmaya başlarsa gerçekten çıldırırım
Yine de ben kendi iç yazışmalarımda kullanmaya devam ettim
“AI gibi görünmemek” yerine “robot isyanının arasına karışmak” seçilirse ne olur?
Benim önerim ⸻ (U+2E3B dash)