- Gerçek Hacker News yorum verilerine dayanarak oluşturulan 1.903 AI personası ile gönderi başlıklarının viral olup olmayacağı tahmin edildi ve %60 doğruluk elde edildi
- Bu, rastgele tahminden %20 daha iyi bir performans anlamına geliyor; mevcut pazar araştırmalarının yerine geçme ihtimalini de gündeme getirse de, sosyal yayılım dinamiklerinin tahmini zorlaştıran başlıca etken olduğu ortaya çıktı
- Başarısız tahmin örneklerinin analizi, ilk birkaç upvote'un tüm sonucu değiştirebilecek şans ve zamanlama etkisini doğruladı
- Bu sonuç, AI'ın bireysel tercihleri iyi modelleyebilse de viral başarıyı tahmin etmede sınırlara çarptığını gösteriyor
- Yazar, AI pazar araştırmasının kesin tahminden çok yön bulmada faydalı olduğunu ve göreli değerlendirme ile tekrarlanan simülasyonlar ekseninde kullanılmasını öneriyor
Deneyin özeti ve sonuçlar
Deney yöntemi: AI ile oluşturulmuş sanal bir Hacker News topluluğu
- 12 Mart 2025'te paylaşılan 1.147 Hacker News gönderi başlığı toplandı
- Gerçek kullanıcı yorumlarına dayanarak 1.903 AI personası oluşturuldu ve her birine "bu başlığa upvote verir miydi" diye soruldu
- Gerçek üst sıralardaki ve alt sıralardaki gönderiler karıştırılarak gösterildi, ardından tahmin doğruluğu ölçüldü
- Tahmin başarı oranı %60 oldu; bu da rastgele tahminden (%50) anlamlı ölçüde daha yüksek bir sonuç verdi
Başarısız tahmin örnekleri ve sınırlar
- “Gemma 3: Google’s new multimodal models” AI tarafından viral olacak diye tahmin edildi, ancak gerçekte yalnızca 4 upvote aldı
- Buna karşılık aynı konuyu ele alan “Gemma 3 Technical Report [pdf]” 1.324 upvote aldı
- Ayrıca “TSA finds live turtle in man’s pants” gibi sansasyonel bir başlık da AI tarafından başarılı olacağı tahmin edilmesine rağmen gerçekte başarısız oldu
Neden analizi
- Bir içeriğin viral olup olmaması, içeriğin tek başına kalitesinden çok ilk görünürlük, upvote sayısı ve zamanlama gibi sosyal bağlama bağlı
- Princeton araştırması: Aynı şarkı listesi gruplara farklı biçimde gösterildiğinde, bazı şarkılar kimi durumda çok büyük başarı kazanırken kimi durumda tamamen başarısız oldu
- Sonuç: Ağ etkileri, "iyi içerik başarılı olur"dan ziyade "şans eseri görünürlük kazanan içerik daha başarılı olur" durumuna hükmediyor
Pratik çıkarımlar: AI pazar araştırması nasıl kullanılmalı
- AI persona tahminleri kusursuz değil ama 'işe yarar bir doğruluk (%60)' sunuyor
- Diğer AI pazar araştırması araçlarının iddia ettiği %90+ doğruluk, anket verisine dayandığı için gerçek dünyadaki viral tahminden oldukça farklı
Gerçek kullanım stratejileri
- Tahmin aracı olarak değil, tekrar eden deneyler ve yön keşfi aracı olarak kullanın
- Örnek: 10 başlığı test ederek elenebilecek adayları ayıklamak
- Tekrarlanan simülasyonlarla doğrulama yapın
- Örnek: 8 denemenin 6'sında veya daha fazlasında yüksek puan alan içerikler test etmeye değer olabilir
- Mutlak değerlerden çok göreli sıralamaya odaklanın
- AI, belirgin güçlü-zayıf farklarını iyi ayırt eder ama birbirine benzer içerikler arasında tahmin yapmakta zorlanır
Kendiniz deneyin: HN kullanıcı kopyalama prompt'u
- Hacker News kullanıcılarının yorum sayfasındaki metni kopyalayıp aşağıdaki prompt ile ChatGPT ya da Claude'a verirseniz sanal bir persona oluşturabilirsiniz
You are a helpful assistant that creates detailed personas representing a specific HackerNews user from a list of HackerNews comments they have made. Create a unique persona who would give identical answers to the user we are replicating based on their comments. Give them a relevant background and experience based on your best inference from their HackerNews comments...
- Oluşturulan persona üzerinde çeşitli içerik fikirleri test edilebilir
- Bu yöntem istatistiksel olarak düzeltilmiş bir tahmin sunmasa da, maliyetsiz biçimde yön keşfi yapılabilen anlamlı bir araç olarak kullanılabilir
Sonuç
- AI, tek tek kullanıcıların tepkilerini oldukça iyi modelleyebilse de, viral başarı sosyal yayılımın yarattığı bir 'kaos'tan etkileniyor
- Sonuç olarak AI, içerik tahmininde bir kâhin değil, yön gösteren bir rehber rolünde kalabiliyor
- Buna rağmen bu deney, küçük ekiplerin ya da bireylerin AI ile düşük maliyetli pazar araştırması yapabilmesine dair bir olasılık ortaya koyuyor
Henüz yorum yok.