Metin sınıflandırmada Gzip ve KNN, Transformer'ları geride bırakıyor

[GN⁺]

Hacker News görüşü

- Yazarlar, sıkıştırılmış belgelere kNN uygulamak için "normalize edilmiş sıkıştırma uzaklığı" (NCD) adlı bir uzaklık fonksiyonu kullanıyor.
- Bu yöntem, zero-shot sınıflandırma görevlerinde BERT'ten daha iyi performans gösteriyor.
- Çok sayıda kelimenin çakıştığı durumlarda Gzip güçlüdür, ancak DNN anlamsal benzerlikte daha üstündür.
- Sonuçlar ilginç, ancak kulağa geldiği kadar ilginç değiller.
- Dağılım dışı verilerde BERT hâlâ daha iyi performans gösteriyor.
- Sıkıştırma algoritmaları ve ML modellerinin ikisi de birer sıkıştırma biçimidir ve insan dili ile verideki performansı açıklayan temel bir özellik olabilir.
- Bağlantı, verilen URL'deki makaleye işaret etmelidir.
- Benzer metin parçalarını ilişkilendirmek, diğer parçalara kıyasla daha iyi sıkıştırılır.
- Gzip, girdiyi tanıyıp etiketleyebilecek şekilde temsil ettiği için sıkıştırmada daha uygun olabilir.
- Gzip, bir cümlenin anlamını tersine çeviren "not" gibi kelimelerde zorlanabilir.```