Botlar, Fazlasıyla Çok Bot

Botlar, Fazlasıyla Çok Bot

Başlangıç

• ProductHunt'un 1 milyondan fazla kullanıcı kaydı var
• Bunların %60'ından fazlası bot

Hikâye şöyle başladı

• 2014'ten beri ProductHunt kullanıyordum
• Son dönemde yorumların çoğu ChatGPT ile üretilmiş gibi görünüyordu

Basit bir test

• Ürün açıklamasına bir LLM prompt enjeksiyonu ekleyip ürünü yayına aldım
• Neredeyse tüm yorumların otomatik olduğunu doğruladım

Botları ayırt etmek mümkün mü?

• Yorumlara yanıt vermek zaman kaybı
• Çok sayıda bot yorum yapıyorsa, muhtemelen upvote da veriyorlardır
• Para verip upvote satın alan kişiler de var

Veri analizi

• ProductHunt'taki kullanıcı, yayınlama, upvote ve yorum listelerini analiz ettim
• 1 milyondan fazla kullanıcı kaydı, 300 binden fazla lansman, 2,5 milyon yorum ve 20 milyon upvote var
• Her ürünün günlük bir sıralaması var; bu, her gün PDT gece yarısından 24 saat sonraki puanı ifade ediyor

Bot hesaplarını tespit etme

• Bot tespiti zor
• Trend bulmak için kullanıcıların yorum zamanlarını analiz etmeye çalıştım
• Örneğin bir kullanıcı 677 gün önce kaydolmuş, 2009 yorum yapmış ve 4649 upvote vermiş
• Bu kişi otomasyon kullanıyor ama bot değil
• Bot kullanan bir kullanıcı ise 140 gün önce kaydolmuş, 173 yorum yapmış ve 246 upvote vermiş
• Bot yorumları düzenli aralıklarla geliyor; grafik pürüzsüz değil, kutu biçimli görünüyor
• Çeşitli ölçütlere göre kullanıcılara bir risk puanı verdim
• ChatGPT ile üretilen yorumlar game-changer gibi kelimeleri daha sık kullanıyor
• Bot yorumlarında kolay yazılamayan karakterler veya ürün adları yer alıyor
• Kümeleme bir ölçüde işe yarıyor, ancak birçok bot hesap kullanıldıktan sonra terk ediliyor
• Sonuç olarak kullanıcı kayıtlarının %60'ından fazlasının otomatik bot hesapları olduğunu tespit ettim

Zaman içinde bot etkinliği

• 2018'den sonra bot kullanıcılar gerçek kullanıcılardan daha fazla oluşturulmaya başlandı
• 2022'nin sonlarından itibaren bot yorumları hızla arttı
• 2022'de de bot upvote'ları gerçek upvote'ları geçti
• Botlar oy halkaları oluşturuyor ve üreticiler upvote satın alıyor
• Yayına alınan ürünlerin çoğu yalnızca birkaç gerçek upvote alıyor
• Günlük sıralamada 1. olmak için %15 bot upvote gerekiyor
• Bot upvote'larının %60'ından fazlası 1. sırayı almaya yetmiyor

Son düşünceler

• Bot upvote'ları çıkarılmış bir lansman listesi oluşturmak istiyordum, ancak zaman yetmediği için bunu bir sonraki blog yazısına bıraktım

GN⁺ Özeti

• ProductHunt kullanıcılarının %60'ından fazlası bot hesaplardan oluşuyor
• Bot yorumları ve upvote'lar gerçek kullanıcı etkinliğini çarpıtıyor
• Bot tespiti zor olsa da, çeşitli ölçütlerle risk puanı vererek tespit etmek mümkün
• Bot etkinliği arttıkça ProductHunt'un güvenilirliği düşebilir
• Benzer işleve sahip diğer ürünlerden biri Hacker News

[GN⁺]

Hacker News görüşleri

• Kullanıcının bot olup olmadığına dair keyfi bir sınıflandırmayla başlayan analiz sorunludur. Bu sınıflandırma yanlışsa, tüm analiz de yanlış olur

  • Örneğin, 2022 sonlarında bot yorumlarında ani bir artış oldu. Bu, ChatGPT'nin yaygın olarak kullanılmaya başlandığı dönemle çakışıyor
  • ChatGPT tarafından üretilen yorumlar sık sık "game-changer" gibi kelimeler kullanır. Bot yorumları, kolay yazılamayan karakterleri ya da ürün adlarını olduğu gibi içerir
  • Dolayısıyla, ChatGPT gibi davranan kullanıcılar bot olarak sınıflandırılıyor ve ChatGPT çıktıktan sonra bu tür kullanıcıların arttığı düşünülüyor. Ancak zaten çok sayıda bot var olmuş olması da mümkün

• ProductHunt'ın CAPTCHA çözümü kullanıp kullanmadığını merak ediyorum

  • CAPTCHA, spam saldırılarını engellemede hâlâ faydalı
  • Yaygın eleştiriler kullanılabilirlik, erişilebilirlik ve gizlilik sorunları. Kullanıcılar bundan hoşlanmıyor
  • Son yıllarda, kullanıcı girdisi olmadan çalışan ve gizliliği koruyan CAPTCHA'lar ortaya çıktı
  • Gelişmiş botlar CAPTCHA'yı kolayca aşabilir. Ama geleneksel teknikler de düşük seviye botları durdurmada faydalıdır. Gelişmiş botlarla ise ML gibi daha ileri tekniklerle mücadele edilebilir
  • CAPTCHA, gerçek insan kullanılan saldırılara karşı etkili değil. Bunun için başka mekanizmalar gerekiyor

• 5 yıl önce ProductHunt'ta bir ürün yayınladığımda, birinciliği garanti eden onlarca mesaj almıştım. Şimdi muhtemelen daha da kötüdür

• ProductHunt'ta kimlerin olduğunu merak ediyorum. Müşteriler mi? Muhtemelen hayır. Indiehackers? Belki. Kime satış yapıldığı ve ProductHunt'ta lansman yapmaya değip değmediği sorgulanır

• Kişisel olarak tanıdığım birinin emeği ve sonuçları iyi yansıtılmış. Güzel iş

• Bu, "ölü internet teorisi"nin ilerlemesi. Gerçek etkileşimi garanti etmek için, kötüye kullanım durumunda sonuç doğuran güçlü ve güvenilir bir kimlik gerekiyor

  • Bu kimlik devlet tarafından hayata geçirilmeli. Büyük teknoloji şirketleri bunu hâlâ çözemedi ve çözmek isteyip istemedikleri de şüpheli
  • Örneğin, Google bunu sert şekilde uygularsa ve YouTube trafiğinin %60-80'i botlardan geliyorsa, gelir ortadan kalkar

• Reddit'te birkaç paylaşımım var ve bazen GPT tabanlı botlar "konu? Vay! Gerçekten düşündürücü, neden önemli olduğunu merak ediyorum" gibi yorumlar yazıyor

  • Reddit, etkileşimi teşvik etmek için bu tür botları çalıştırıyor olabilir

• Birçok kişi GenAI ile konuştuklarının farkında olmayacak

  • Aynı kişinin birden fazla hesap üzerinden farklı insanlar gibi konuşması zaten bir sorun. GenAI, botlar aracılığıyla anlatıları ucuza manipüle etmeyi mümkün kılıyor
  • Bu, tüm sosyal ağların sorunu. İnsan olduğunu doğrulamak tek çözüm
  • Yalnızca gerçek insanların upvote/downvote yapabildiği ve yorum yazabildiği bir sosyal ağ inşa ediliyor

• X'te 1 yıllık bir hesabım var ve hiç yorum yapmadım. Ama 35 çekici kadın beni takip ediyor. Erkek yok, çekici olmayan kadın da yok. Bu, beğenilerimin çekiciliğinden kaynaklanmıyor

  • Bu, tüm web'in küçük bir modeli gibi

• Birinin "me good LLM" tişörtü satması lazım