Daha Akıllı Bir Arama Algoritması Oluşturmak İçin Değerlendirme Yöntemleri

• Shopify, ürün aramasında kullandığı algoritmayı değiştirirken arama sonuçlarının gerçekten iyileşip iyileşmediğini şu yöntemle değerlendirdi

→ Mevcut Vanilla PageRank: sıralama, aramaya dayalı PV üzerinden hesaplanıyor

→ Yeni Query-specific PageRank: ağırlıklar, arama terimine ilişkin tıklama geçmişine göre hesaplanıyor

• 3 aşamalı değerlendirme

1. Veri toplama: Kafka event'leri ve açıklamalı veri seti

2. Çevrimdışı metrik değerlendirmesi: mevcut arama sorguları kullanılarak yeni algoritma değerlendiriliyor

→ Mean Average Precision (MAP): bir sorgunun döndürdüğü ilk N sonuç içinde ilgisiz belgeler yer alırsa ceza uygulanıyor

→ Normalized Discounted Cumulative Gain (NDCG): MAP hesaplaması için cutoff puanı hesaplanıyor; yüksek puanlı (Great/Good) öğelerin sırası düşükse ceza uygulanıyor

3. Çevrimiçi metrik değerlendirmesi: arama log'ları kullanılarak gerçek aramanın nasıl çalıştığı değerlendiriliyor

→ Başarıyı belirleyen metrikler: kullanıcıların ne kadar sık arama yaptığı, istedikleri sonucu bulmak için ne kadar kaydırdığı ve sorunu çözmek için destek ekibiyle iletişime geçip geçmediği gibi unsurlar

→ Click-through rate (CTR): arama sonucu tıklanma oranı. Yüksek olması iyi

→ Average rank: tıklanan sonucun ortalama sırası. Düşük olması iyi

→ Abandonment: istenen sonucu bulamadan vazgeçme oranı; elbette bot/spam gibi etkiler olabilir ama makul ölçüde düşük olması iyi

→ Kafka kullanılarak toplandı

→ Mevcut yöntemle A/B testi yapıldı

• Sonuç olarak yeni arama algoritması mevcut yöntemi geçti ve onun yerine alınmaya başlandı

• Kilit noktalar

→ Yüksek kaliteli ve güvenilir şekilde etiketlenmiş veri seti, değerlendirmenin temelidir

→ Çevrimiçi metrikler, kullanıcı davranışı hakkında mükemmel içgörüler sağlar

→ Çevrimdışı metrikler, yeni algoritmayı hızlıca yinelemeli olarak test etmeye ve riski azaltmaya yardımcı olur