İlginç araştırma: Anthropic'in "Mapping the Mind of a Large Language Model" duyurusundan kısa süre sonra gelen bir çalışma olduğu için ilgi çekici. Hâlâ birçok kişi "LLM'lerin/deep learning'in nasıl çalıştığını bilmiyoruz" diyor, ancak bu tür araştırmalar bu genellemeye karşı çıkıyor.
Örnek seçimine dair soru işareti: GPT-4 örnekleri arasında fiyat artışıyla ilgili ifadelerden birinin aslında fiyat düşüşünü gösteriyor gibi görünmesi anlamayı zorlaştırıyor. Neden böyle bir örneğin seçildiği merak ediliyor.
Gelişmiş anlamsal arama: Belgede fiyat artışı gibi kavramları filtrelemeye dair örnek hoş bulunuyor. Modeli eğitmekten daha hızlı ve daha doğru olabilir.
Sınıflandırma hatası: Bilimsel bir açıklamayı erotik içerik olarak sınıflandıran bir hata var. Bağlantı üzerinden doğrulanabiliyor.
Benzer araştırma: Anthropic'in Claude 3 Sonnet araştırmasını hatırlatıyor.
Model yorumlanabilirliği: SHAP gibi araçların uygulanmasıyla karşılaştırıldığında bu çalışmanın neyi iyileştirdiği merak ediliyor. "Şu anda dil modellerinin sinirsel etkinliğini anlayamıyoruz" iddiasının yanlış olduğu söyleniyor.
Temel açıklama talebi: Bu araştırmanın öneminin daha kolay anlaşılır şekilde açıklanıp açıklanamayacağı soruluyor.
Açık modeller için yardımcı araç: Sinir ağının çıktısını açıklayan bir autoencoder yayımlamak iyi bir pratik olabilir. Hugging Face'teki tüm açık modeller için faydalı bir yardımcı araç olabilir.
Sinir ağlarının fMRI'ı: Sinir ağında belirli konulara göre etkinleşen bölgeleri görebilmeyi sağlayan bir fMRI'a benzetiliyor. Bir değerlendirme sinir ağı bağlanarak etkinleşen bölgelerin otomatik olarak değerlendirilebilip değerlendirilemeyeceği merak ediliyor.
1 yorum
Hacker News yorumu
İlginç araştırma: Anthropic'in "Mapping the Mind of a Large Language Model" duyurusundan kısa süre sonra gelen bir çalışma olduğu için ilgi çekici. Hâlâ birçok kişi "LLM'lerin/deep learning'in nasıl çalıştığını bilmiyoruz" diyor, ancak bu tür araştırmalar bu genellemeye karşı çıkıyor.
Örnek seçimine dair soru işareti: GPT-4 örnekleri arasında fiyat artışıyla ilgili ifadelerden birinin aslında fiyat düşüşünü gösteriyor gibi görünmesi anlamayı zorlaştırıyor. Neden böyle bir örneğin seçildiği merak ediliyor.
Gelişmiş anlamsal arama: Belgede fiyat artışı gibi kavramları filtrelemeye dair örnek hoş bulunuyor. Modeli eğitmekten daha hızlı ve daha doğru olabilir.
Sınıflandırma hatası: Bilimsel bir açıklamayı erotik içerik olarak sınıflandıran bir hata var. Bağlantı üzerinden doğrulanabiliyor.
Benzer araştırma: Anthropic'in Claude 3 Sonnet araştırmasını hatırlatıyor.
Model yorumlanabilirliği: SHAP gibi araçların uygulanmasıyla karşılaştırıldığında bu çalışmanın neyi iyileştirdiği merak ediliyor. "Şu anda dil modellerinin sinirsel etkinliğini anlayamıyoruz" iddiasının yanlış olduğu söyleniyor.
Temel açıklama talebi: Bu araştırmanın öneminin daha kolay anlaşılır şekilde açıklanıp açıklanamayacağı soruluyor.
Açık modeller için yardımcı araç: Sinir ağının çıktısını açıklayan bir autoencoder yayımlamak iyi bir pratik olabilir. Hugging Face'teki tüm açık modeller için faydalı bir yardımcı araç olabilir.
Sinir ağlarının fMRI'ı: Sinir ağında belirli konulara göre etkinleşen bölgeleri görebilmeyi sağlayan bir fMRI'a benzetiliyor. Bir değerlendirme sinir ağı bağlanarak etkinleşen bölgelerin otomatik olarak değerlendirilebilip değerlendirilemeyeceği merak ediliyor.
Seyrek embedding ilgisi: Seyrek embedding'lerle (Splade vb.) ilişkili olabilir ve hibrit aramada kullanılıp kullanılamayacağı merak ediliyor.