Son zamanlarda sizi en çok etkileyen makale hangisi?

 (news.ycombinator.com)
11 puan yazan xguru 2023-07-26 | 3 yorum | WhatsApp'ta paylaş
  • "Overview of SHARD: A System for Highly Available Replicated Data" 1988
    • Veritabanı sharding'ini tanıtan ilk makale olarak sayısız çalışmada atıf almış olsa da, "var değil"
  • "Integral Neural Networks"
  • "Blue Is the New Black (Market): Privacy Leaks and Re-Victimization from Police-Auctioned Cellphones"
  • "Latency Lags Bandwidth"
  • "Liquid solution centrifugation for safe, scalable, and efficient isotope separation"
  • "Co-cultivation enhanced microbial protein production based on autotrophic nitrogen-fixing hydrogen-oxidizing bacteria"
  • "Enso: A Streaming Interface for NIC-Application Communication"
  • "Search-Based Regular Expression Inference on a GPU"
  • "Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm"
  • "FP2: Fully in-Place Functional Programming"
  • "Enabling tabular deep learning when d ≫ n with an auxiliary knowledge graph"
  • "A Holistic Approach to Undesired Content Detection in the Real World"

İlgili okumalar

3 yorum

 
cosine20 2023-07-26

Integral Neural Networks oldukça etkileyici görünüyor.
Temel fikir, ağırlık dağılımını ayrıklaştırmak gibi duruyor; yani örnekleme teorisindeki gibi, sürekli bir fonksiyon olarak ifade edilen ağırlık dağılımını ayrıklaştırarak hesaplama miktarını optimize edebileceğini söylüyor gibi.
Son dönemdeki LLM'lere baktığımızda da, modeli kuantize ederek benzer performansta daha az hesaplama gerektiren modeller oluşturduklarını görüyoruz; bu da benzer bir metodoloji gibi geliyor.
 
xguru 2023-07-26

İlk madde biraz absürt ama eğlenceli görünüyor
Where is the original "Overview of SHARD" paper?
 
cosine20 2023-07-26

Bağlantıdaki yoruma bakınca, yazarın kendisinin yakın zamanda yanıt verdiğini gördüm.
Şirket/araştırma enstitüsü iç kullanımına yönelik bir belge olduğu için, herkese açık şekilde erişilebilecek bir yöntem yokmuş.

"Ben Ronni Rosenberg'im. Bu, 35 yıl öncesine ait kurum içi bir CCA makalesiydi (akademiden ya da yayımlanmış bir dergiden değil)! Bende bir kopyası yok ve ona nasıl ulaşılacağını da hiç bilmiyorum. Bunun için üzgünüm. Yine de veri "sharding"ine yapılan en erken atıf bu gibi görünüyor. (Wikipedia'da bahsedilen diğer erken atıf ise çok daha sonra, 1997'den.)

Neyse ki, sharding hakkında okumak için 35 yıl geriye gitmeniz gerekmiyor; güncel bilgiye ulaşmak kolay. Sevgiler."

Aslında böyle durumlar epey sık yaşanıyor; gerçek asıl içeriği doğrulamak mümkün olmasa bile atıf verilmesinin nedeni, makalede anılan özgün kavramın ya da araştırmanın kaynağını netleştirmeye çalışmaktır. Kendi araştırmalarında sözünü ettikleri Sharding'in başkalarının da aynı şekilde düşündüğü Sharding olup olmadığını, yoksa sadece adı aynı ama başka birinin önerdiği farklı bir Sharding kavramı mı olduğunu, ya da aslında var olmayan bir kavramı sanki varmış gibi göstermek için Sharding adını kullanıp kullanmadıklarını diğer araştırmacıların doğrulaması gerekir.
Derin öğrenme alanında da adı aynı olup birbirinden farklı araştırma çıktıları olan ağ modelleri zaman zaman bulunuyor.