- CAPTCHA hâlâ yaygın kullanılan bir bot savunma aracı olsa da, gerçek dağıtım örnekleri ve kullanıcı deneyimi birlikte ele alındığında güvenlik ile kullanılabilirlik dengesi ciddi biçimde sarsılıyor
- Popüler 200 web sitesinin incelenmesi ve MTurk kullanıcı araştırmasında tıklamalı reCAPTCHA, 3,7 saniyelik medyan süreyle en hızlısıydı; oyun tabanlı, kaydırmalı ve zor hCAPTCHA türleri daha uzun sürme eğilimi gösterdi
- Hızlı CAPTCHA her zaman en çok tercih edilen seçenek değildi; oyun tabanlı ve kaydırmalı türler gibi çözüm süresi uzun olsa da görece iyi değerlendirilen türler vardı
- CAPTCHA’nın hesap oluşturma akışına yerleştirildiği bağlamlandırılmış ayarda, ortalama çözüm süresi doğrudan çözmeye kıyasla en fazla %57,5 arttı ve terk oranı da yükseldi
- Yaş arttıkça çoğu CAPTCHA’nın çözüm süresi uzadı; mevcut bot performansı çalışmalarıyla karşılaştırıldığında, çeşitli türlerde botların insanlardan daha hızlı ve doğru olduğu örnekler görüldü
CAPTCHA’nın yeniden değerlendirme konusu olmasının nedeni
- CAPTCHA yaklaşık 20 yıldır bot savunma aracı olarak yaygın biçimde kullanılıyor, ancak onu aşma veya otomatik çözme teknikleri de sürekli gelişiyor
- İlk CAPTCHA’lar, görseldeki bozulmuş metni okuyup girme yöntemine dayanıyordu; ancak bilgisayarlı görü ve makine öğrenmesindeki ilerlemelerle 2014’te otomasyon araçlarının %99’un üzerinde doğruluğa ulaştığı örnekler görüldü
- Günümüzde CAPTCHA çeşitli biçimlere ayrılmış durumda
- Nesne tanıma türü: “İlgili nesnenin bulunduğu kareleri seç”
- Bozulmuş metin türü
- Bulmaca türü: “Bloğu kaydır”
- Kullanıcı davranışı analizine dayalı yöntemler
- Bu çalışma, gerçek web’de kullanılan değiştirilmemiş CAPTCHA’ları hedef alıyor
- Popüler 200 web sitesinin manuel incelenmesi
- MTurk tabanlı, 1.000 kişilik ana kullanıcı araştırması
- Terk oranını ayrıca incelemek için ek MTurk araştırması
- Tam anonimleştirilmiş veri seti ve analiz kodu açıklandı: captcha-study
Popüler 200 web sitesinde CAPTCHA dağılımı
- Alexa Top web siteleri listesine göre ilk 200 site manuel olarak incelendi
- 185 sitede hesap oluşturma süreci vardı
- 142 sitede gerçekten hesap oluşturmak mümkündü
- Her site Chrome gizli mod ve Tor Browser ile ayrı ayrı ziyaret edildi
- Gözlemlenen CAPTCHA türlerinde reCAPTCHA yoğunluğu en belirgin noktaydı
- reCAPTCHA: 68 site, incelenenlerin %34’ü
- Kaydırıcı tabanlı CAPTCHA: 14 site, %7
- Bozulmuş metin CAPTCHA’sı: 14 site, %7
- Oyun tabanlı CAPTCHA: 9 site, %4,5
- hCAPTCHA: 1 site
- Görünmez CAPTCHA: 12 site, %6
- Diğerleri: kazı-kazan benzeri CAPTCHA, görselde Çince karakter bulma CAPTCHA’sı, NuCaptcha vb.
- İnceleme kapsamının belirgin sınırlamaları var
- Manuel inceleme olduğu için yalnızca ilk 200 site dahil edildi
- Tüm işlevler çalıştırılmadığından gerçek CAPTCHA dağıtımı daha fazla olabilir
- Belirli bir andaki web sitesi sıralamasına ve CAPTCHA durumuna dayanıyor
- Dark web gibi özel amaçlı sitelerdeki CAPTCHA’lar dahil edilmedi
- BuiltWith’in 673 milyon web sitesinden oluşan veri setinde, CAPTCHA kullanan 15,2 milyon site içinde reCAPTCHA %97,3, hCAPTCHA %1,4 paya sahip
- Araştırmada kullanılan CAPTCHA türleri, bu büyük veri seti ölçüt alındığında %98’den fazlasını kapsıyor
Kullanıcı araştırması tasarımı
- Ana kullanıcı araştırması MTurk’te 1.000 kişi ile yürütüldü ve katılımcılar rastgele sırayla 10 CAPTCHA çözdü
- Süreç dört aşamadan oluştu
- Araştırma tanıtımı
- Ön sorular: demografik bilgi toplama
- CAPTCHA çözme görevi
- Son sorular: az önce çözülen CAPTCHA’lara ilişkin tercih vb. sorular
- Kullanılan CAPTCHA türleri toplam 10 adetti
- 2 tür reCAPTCHA v2: kullanıcı için en kolay ayar, en güvenli ayar
- 2 tür Arkose Labs oyun tabanlı: nesne döndürme, doğru yöndeki nesneyi seçme
- 2 tür hCAPTCHA: kolay ayar, zor ayar
- 1 tür Geetest kaydırmalı CAPTCHA
- 3 tür bozulmuş metin CAPTCHA’sı: basit, maskeleme, hareketli metin
- Deney bağlamını karşılaştırmak için iki ayar kullanıldı
- Doğrudan ayar: Katılımcılara bunun CAPTCHA çözme araştırması olduğu söylenip 10 CAPTCHA doğrudan sunuldu
- Bağlamlandırılmış ayar: Katılımcılara bunun hesap oluşturma araştırması olduğu bildirildi ve her hesap oluşturma formu gönderiminden sonra CAPTCHA çıkacak şekilde kurgulandı
- Bağlamlandırılmış ayarda kişisel veri toplamaktan kaçınmak için sentetik bilgiler sağlandı; gerçek amaç görev tamamlandıktan sonra açıklandı
- Bu yöntem IRB onayı aldı; eksik bilgilendirme ve onay değişikliğiyle ilgili belgeler de onaylandı
- Amaç açıklandıktan sonra verilerinin kullanılmasına onay vermeyen katılımcıların verileri toplanmadı
- Katılımcı ödemesi başlangıçta doğrudan ayar için 0,30 dolar, bağlamlandırılmış ayar için 0,75 dolardı
- Tamamlama süresi medyanının sırasıyla 4,4 dakika ve 11,5 dakika olduğu görüldükten sonra geriye dönük olarak 0,60 dolar ve 1,50 dolara yükseltildi
Çözüm süresi ve tercih farkları
- CAPTCHA türlerine göre çözüm süreleri büyük ölçüde ayrıştı
- Tıklamalı reCAPTCHA, 3,7 saniyelik medyan süreyle en hızlısıydı
- Kolay ayar ile zor ayar arasındaki fark büyük değildi
- Basit bozulmuş metin CAPTCHA’sı, bozulmuş metinler içinde en hızlı çözüldü
- Maskeleme ve hareketli metin türlerinin çözüm süreleri benzerdi
- hCAPTCHA’da kolay ayar ile zor ayar arasındaki fark belirgindi; zor ayar daha zor görsel görevler veya daha fazla tur sunuyordu
- Oyun tabanlı ve kaydırmalı CAPTCHA’ların medyan çözüm süresi genel olarak yüksekti, ancak bazı katılımcılar 10 saniyenin altında çözdü
- Kullanıcı tercihi çözüm süresiyle tamamen örtüşmüyor
- Tıklamalı reCAPTCHA hem en hızlıydı hem de en yüksek tercih puanını aldı
- Oyun tabanlı ve kaydırmalı türler daha uzun sürse de yüksek tercih puanı alan taraftaydı
- En çok tercih edilen CAPTCHA olan tıklamalı reCAPTCHA’ya bile katılımcıların %18,9’u 1 veya 2 puan verdi
- Genel tercihi en düşük olan hCAPTCHA’ya da %31,0’den fazlası 4 veya 5 puan verdi
Deney bağlamının yarattığı fark
- Doğrudan ayar ile bağlamlandırılmış ayar karşılaştırıldığında, çoğu CAPTCHA’da bağlamlandırılmış ayardaki ortalama çözüm süresi daha yüksekti
- Kolay tıklamalı reCAPTCHA’da ortalama çözüm süresi 1,8 saniye artarak %57,5 yükseldi
- Arkose döndürme türünde 10 saniye artarak %56,1 yükseldi
- Tüm CAPTCHA türleri ortalamasında, doğrudan ayara kıyasla bağlamlandırılmış ayarda %26,7 artış görüldü
- Zor hCAPTCHA ayarı genel medyan çözüm süresi en yüksek olan türdü; ancak iki ayar arasındaki ortalama çözüm süresi farkı anlamlı değildi
- Kruskal-Wallis testinde Geetest, görüntü tabanlı reCAPTCHA ve zor hCAPTCHA ayarı dışındaki tüm CAPTCHA türlerinde ortalama çözüm süresi farkı istatistiksel olarak anlamlıydı
- İki ayar arasında çeşitli potansiyel karıştırıcı etkenler kalıyor
- Bağlamlandırılmış ayar katılımcıları daha fazla görev yaptı
- Ödeme farkı ve görevi tamamlama algısındaki fark, motivasyonu veya terk olasılığını etkilemiş olabilir
Demografi, doğruluk, terk oranı
- Yaş, CAPTCHA çözüm süresiyle ilişkiliydi
- Kolay görüntü tabanlı reCAPTCHA hariç tüm türlerde genç katılımcıların ortalama çözüm süresinin daha düşük olma eğilimi görüldü
- Önceki araştırmalar metin tabanlı CAPTCHA’da yaş başına 0,03 saniyelik artış bildirmişti; bu çalışmada ise tüm CAPTCHA türleri ortalamasında yaş başına 0,09 saniyelik artış görüldü
- Eğitim düzeyi ve cinsiyette büyük çözüm süresi farkları gözlemlenmedi
- Önceki bir çalışma, PhD katılımcıların diğer eğitim gruplarından daha hızlı çözdüğünü belirtmişti; bu çalışmada ise öz bildirime dayalı eğitim düzeyi ile çözüm süresi arasında korelasyon bulunmadı
- Cihaz ve giriş yönteminde bazı farklar vardı
- Bilgisayar kullanıcılarının ortalama çözüm süresi, telefon kullanıcılarına göre bozulmuş metin CAPTCHA’sı ve zor tıklamalı reCAPTCHA’da daha düşüktü
- Fiziksel klavye ile dokunmatik giriş arasında basit ve maskelemeli bozulmuş metin, tıklamalı reCAPTCHA ve Arkose seçim türünde istatistiksel olarak anlamlı fark vardı
- Doğruluk karşılaştırmasında türlere göre büyük farklar var
- reCAPTCHA görüntü sınıflandırma doğruluğu kolay ayarda %81, zor ayarda %81,7
- hCAPTCHA doğruluğu kolay ayarda %81,4, zor ayarda %70,6
- Bozulmuş metinde büyük-küçük harf ayrımı yapılmazsa katılımcılar arası uyum oranı ortalama %20 artıyor
- Basit tür: %84’ten %93’e
- Maskeleme türü: %50’den %73’e
- Hareketli metin türü: %62’den %90’a
- Mevcut literatürdeki bot performansıyla karşılaştırıldığında, çeşitli CAPTCHA türlerinde botlar insanlardan daha hızlı ve doğru sonuçlar veriyor
- Tıklamalı reCAPTCHA: insan 3,1~4,9 saniye; bot 1,4 saniye ve %100 doğruluk örneği
- Geetest: insan 28~30 saniye; bot 5,3 saniye ve %96 doğruluk örneği
- Bozulmuş metin: insan 9~15,3 saniye ve %50~84 doğruluk; bot 1 saniyenin altında ve %99,8 doğruluk örneği
- Görüntü tabanlı reCAPTCHA: insan 15~26 saniye ve %81 doğruluk; bot 17,5 saniye ve %85 doğruluk örneği
- hCAPTCHA: insan 18~32 saniye ve %71~81 doğruluk; bot 14,9 saniye ve %98 doğruluk örneği
- Ayrı terk oranı araştırmasında, ilk CAPTCHA gösterildikten sonra katılımcıların %18~45’i araştırmayı terk etti
- Bağlamlandırılmış ayardaki katılımcıların terk etme olasılığı, doğrudan ayardakilere göre %120 daha yüksekti
- CAPTCHA yüzünden kullanıcıların görevi bırakması, satın alma veya hesap oluşturma gibi web sitesi etkinliklerinde kayba yol açabilir
1 yorum
Hacker News yorumları
Google CAPTCHA’nın yapay zeka eğitimi için bir mekanizma olarak tasarlanıp dağıtıldığını ve bu yüzden bugünkü biçimini aldığını düşünüyorum
Etrafındaki güvenlik tiyatrosu daha çok yan unsur gibi; yapay zekanın artık bunları iyi çözmesi de şaşırtıcı değil. Yıllardır onu böyle eğittik
En azından saldırgana maliyet çıkarma etkisi var
Asıl mesele davranış analizi; kullanıcının sayfayı yüklemesinden önce bile Google’ın topladığı verilerle bot olasılığını değerlendirmesi de buna dahil
reCAPTCHA’nın Google için bir eğitim verisi kaynağı olduğunu inkâr etmiyorum. reCAPTCHA V2 sorularının sürekli trafik nesnelerini tanımlatma üzerine olmasının özel bir nedeni olmaması mümkün değil; Google’ın otonom sürüş yapay zekası geliştirmiyor olması da değil
Yine de bu bir iş modeli, temel işlev değil; ayrıca o eğitim verileri CAPTCHA çözen bot geliştiricilerine olduğu gibi verilmiyor
Şu anda filtrelemeyi Cloudflare gibi servislere bırakıyoruz, ama bu tür eğitim devam ederse Cloudflare bile botla insanı nasıl ayırt edecek merak ediyorum
Google CAPTCHA’nın doğru cevapları reddettiğini çok gördüm; bu, botları yanlış cevapları kabul edecek şekilde eğitmenin sonucu olabilir
Yine de artık dur levhası olmamasına sevindim. Google bir yandan “otonom” otomobiller satarken diğer yandan robotların dur levhalarını tanıyamadığını gösterseydi epey utanç verici olurdu
Bu çalışma, insanların CAPTCHA çözmesinin çeşitli yönlerini ele alıyor gibi görünüyor; yapay zekanın insanları geride bıraktığına dair bir şey bulamadım. İlgili bölümü bilen var mı?
reCAPTCHA v2/v3’ü çözmek, onay kutusuna tıklamaktan ve görsel bulmacadan fazlasını gerektiriyor. Sadece bundan ibaret olsaydı şimdiye ortalık karışmış olurdu
CAPTCHA’nın yapay zeka eğitimi için olduğu sözü geniş anlamda doğru, ama modern CAPTCHA’nın çalışma biçiminde bunun daha çok yan etki olduğunu düşünüyorum
reCaptcha V2+ gibi şeyler tarama geçmişi veya sayfa üzerindeki fare hareketleri gibi davranış analizini izler. Bu yüzden çoğu insan sadece onay kutusuna tıklayıp geçer
Fare hareketlerini girdi biçimi olarak alan büyük multimodal modellerin olup olmadığından da emin değilim
CAPTCHA kırmak için tasarlanmış yapay zeka da Google vb. verilerini eğitimde kullanamaz. Endişeniz Google’ın kendi botlarını CAPTCHA’yı aşacak şekilde eğitmesi ise, bu imkânsız değil ama
Başlık epey tık tuzağı ve ne yazık ki HN’de bu tür başlıklar iyi iş yapıyor
Gelecekte bir şeye kaydolurken sıradaki adımın ödeme kartı doğrulaması olacağını düşünüyorum
Muhtemelen ön ödemeli BIN’leri baştan engellemek gibi olacak. Epey korkunç olur, ama şu an CAPTCHA çözmektense 0,01 dolar ödemeyi tercih ederim diyecek noktadayım; bir şeye ihtiyaç var
Özellikle “tüm bisikletleri seçin” tam bir hayat israfı
Daha az şey satın alıyorum, sosyal medyayı daha az kullanıyorum. Doğa yürüyüşlerinde ve kâğıt kitaplarda CAPTCHA yok
Her tarayıcıda çalışmasını sağlamak için şöyle bir şey mümkün: kanıtlamayı destekleyen bir iPhone veya Android cihazla QR kodu taramak, giriş onayı isteyip istemediğini sormak ve o cihazın sizin adınıza kanıtlaması
Kötü niyetli aktör olduğu anlaşılırsa web sitesi o cihazı engelleyebilir; böylece tek bir cihazla büyük ölçekli saldırı yağdırmak da zorlaşır
UPI’de bir QR kodu alırsınız ya da UPI ID girersiniz, ödemeye basarsınız ve biter
“Dolandırıcılık önleme” konusunda endişeniz varsa, eBay veya kart şirketleri gibi aracılara güvenmek yerine banka, satıcı ve mahkemelerle çözmek gerektiğini düşünüyorum
Eskiden {Country}’de yaşarken uluslararası ödemelerde kabul edilen bir karta hiç erişimim olmadığını hatırlıyorum
HN hiç CAPTCHA istedi mi? Temel ama kendini kanıtlamış operasyonel ve spam önleme araçları ile, çok inatçı bir DDoS olmadığı sürece engelleyen hız sınırlamasıyla epey iyi idare ediyor gibi
Scraping veya üçüncü taraf istemciler için de saçma sınırlamalar varmış gibi görünmüyor
Buna rağmen ayda 5 milyon tekil ziyaretçi ve günde 10 milyon görüntüleme işliyor[0]
[0] https://news.ycombinator.com/item?id=33454140
Yapılabilecek şey spam gönderi atmak; saldırgan açısından gerçek parasal değeri düşük ve dediğin gibi bu tür şeylerle başa çıkan araçlar onlarca yıldır var
Para kazanma olasılığının çok daha belirgin ve doğrudan olduğu diğer sitelerden çok farklı
Neden özellikle sadece birkaç makineyle işletmek istediklerini pek bilmiyorum. Paraları yeterli olmalı; YC’nin tanıtım etkisiyle bile aradaki fark kapatılabilir
CAPTCHA’lar belirsizlik ve görsellerin tam yüklenmemesi yüzünden fazlasıyla eziyetli
1 dakika bekleseniz de bazı görseller bir türlü çıkmıyor. Çıksa bile bisiklet, motosiklet, yaya geçidi fotoğrafları çok fazla
Çok küçük bir parçanın başka bir kareye azıcık taştığı durumlarda tıklamak gerekip gerekmediği hep kafa karıştırıyor. Yüklenmeyen tek bir görseli yenilemek de mümkün değil; yenilerseniz çoğunlukla en baştan başlıyormuş gibi oluyor
Başkalarının da dediği gibi Tor kullanınca CAPTCHA’nın hiç yüklenmemesi sık yaşanıyor. Fotoğrafları göstermiyor, öylece takılı kalıyor. Normal web siteleri Tor’da da genelde iyi çalıştığına göre sorun CAPTCHA tarafında gibi görünüyor
7 yıl önce zaten şöyle tahmin edilmişti: “Makineler nasıl kontrolü ele geçirecek? CAPTCHA’lar o kadar zorlaşacak ki yalnızca AI çözebilir hale geldiğinde, insanlar internetten tamamen kilitlenecek.” https://twitter.com/lapcatsoftware/status/771857826130034688
“Bu görseldeki harfler nedir” biçimindeki CAPTCHA’lar bir süre ciddi ölçüde azaldı; bunun nedenlerinden biri muhtemelen buydu
Gönderinin başlığı “AI bots are now outperforming humans in solving CAPTCHAs” idi ve bu, HN’nin “yanıltıcı ya da clickbait değilse özgün başlığı kullanın, düzenlemeyin” şeklindeki başlık kuralını ihlal ediyordu
Yazıyı gönderen kişi makalede önemli gördüğü noktayı söylemek istiyorsa bunu başlığa değil, konuya yorum olarak yazabilir. Böylece bu görüş diğer herkesinkiyle aynı başlangıç çizgisinde yer alır: https://hn.algolia.com/?dateRange=all&page=0&prefix=false&sort=byDate&type=comment&query=%22level%20playing%20field%22%20by:dang
Başlık yanıltıcı olacak şekilde düzenlenmiş. Asıl başlıkta ve özette AI’ın insanları “artık” geride bıraktığına dair bir ifade yok
Asıl başlık An Empirical Study & Evaluation of Modern CAPTCHAs
Neredeyse 20 yıldır CAPTCHA’lar botları engellemek için yaygın bir koruma aracı olarak kullanılıyor; kullanımı arttıkça bunları kırma veya aşma teknikleri de gelişmeye devam etti
Aynı zamanda CAPTCHA’lar da karmaşıklık ve çeşitlilik açısından gelişti; böylece yalnızca botlar için değil, insanlar için de çözülmesi giderek zorlaştı
Bu uzun süredir devam eden silahlanma yarışı sürdüğü için, normal kullanıcıların modern CAPTCHA’ları çözmesinin ne kadar sürdüğünü ve bunları nasıl algıladığını araştırmak önemli
Bu çalışma, gerçek kullanımda olan CAPTCHA’ları değiştirmeden, popüler web sitelerinin manuel incelenmesi ve kullanıcı araştırması yoluyla değerlendirme yaptı
1.400 katılımcı toplam 14.000 CAPTCHA çözdü ve en popüler türler arasında büyük farklar ortaya çıktı
İlginç biçimde, çözme süresi ile kullanıcı algısı her zaman korelasyon göstermedi
CAPTCHA’yı doğrudan çözme ile hesap oluşturma gibi daha doğal bir görevin parçası olarak çözme arasındaki fark da karşılaştırıldı; birden fazla karıştırıcı faktör olsa da deney bağlamı etkili olabileceğinden gelecekteki araştırmalarda dikkate alınmalı
Son olarak, göreve başlayıp tamamlamayan katılımcılar analiz edilerek CAPTCHA yüzünden kullanıcıların görevi bırakması olgusu da incelendi
Bu tür makaleler CAPTCHA’larda birden fazla zorluk seviyesi olduğu noktasını kaçırıyor
Kurumsal hesap kullanan veya CAPTCHA sağlayıcısıyla yakın çalışan kişiler çok farklı sonuçlar görür
Günümüzde birçok CAPTCHA sağlayıcısı, zor modda hangi CAPTCHA’yı göstereceğine karar verirken büyük dil modellerinin çözemeyeceği şeyleri ölçüt alıyor
CAPTCHA’ların bilerek aşırı zor yapılmamasının nedeni, pex.com gibi yerlerin telif hakkı uygulaması için bunları aşabilmesinin gerekmesi
hcaptcha’nın kurucusu olduğum için önyargılı olabileceğimi belirtmiş olayım
Son dönemdeki CAPTCHA’larda olduğu gibi nesneyi döndürerek bulmacayı tamamlamak veya aynı öğeyi bulmak gibi yöntemler daha iyi görünüyor
Eski bozulmuş harfleri okuma yöntemi, özellikle
i,1,lseçeneklerinden hangisi olduğunu tahmin ettiren türler daha sinir bozucuydu