Kısa süre önce Hacker News’te çok ses getiren bir konu vardı.
Klasik ML ile AI Slop Text’i ayırt etmenin beklenenden daha etkili olduğunu anlatan bir blog yazısıydı.
https://news.ycombinator.com/item?id=48936880
https://blog.lyc8503.net/en/post/llm-classifier/
Zaten epey tartışılmış bir yaklaşım olsa da hâlâ geçerli ve verimli olması da çekici geldiği için Korece için de bir sürüm hazırladım.
- Metni cümle bazında ayırıp char/word n-gram TF-IDF + doğrusal SVM ensemble ile puanlıyor; şüpheli cümle oranına göre belgenin tamamı için karar veriyor.
- Çıkarımın tamamı JavaScript olduğu için sunucu, API veya GPU olmadan yalnızca statik bir sayfayla çalışıyor. Model yaklaşık 1,4 MB ve yapıştırdığınız metin hiçbir yere gönderilmiyor.
Elbette sınırları da belirgin. SVM gibi klasik ML kullandığı için bazı bariz yapay zeka tarzı metinleri oldukça iyi tespit etme eğiliminde, ancak sınırda kalan ya da akademik metinlerde belirsiz sonuçlar da verebiliyor.
Sonuçta “yapay zeka” çıkması metnin kesinlikle yapay zeka olduğu anlamına gelmeyebilir; ama bir metnin yapay zeka tarafından üretilmiş olup olmadığını kontrol etmek için kullanılabilir.
1 yorum
Yazdığım metinlerle karşılaştırdım: doğrudan kendim yazdığım metin %0, yapay zekayla yazıp biraz düzenlediğim metin %51, tamamen yapay zekayla yazdığım metin ise %100 çıktı; beklediğimden iyi ayırt ediyor hehe
Sadece bir fikir ama Chrome tarayıcı uzantısı olarak https://github.com/mozilla/readability benzeri ölçütlerle içeriği tespit edip sonucu trafik ışığı gibi gösterse daha kullanışlı olabilir.
(Yalnızca kaydedilen sayfa alan adlarında otomatik tespit yapıp diğerlerinde çeviri özelliği gibi manuel çalışsa da iyi olur gibi.)