Giriş
Bu yıl altı makale Üstün Makale Ödülü kazandı. Seçim süreci şu şekilde ilerledi.
İlk olarak makaleler ön elemeden geçirilerek potansiyel ödül adayı 32 makale belirlendi. Bu süreçte ortalama puanı yüksek olan makaleler ile program komitesinin önerdiği makaleler seçildi. Sonuç olarak bu küme, sözlü sunum oturumlarında ele alınan 16 konuyu kapsayan makaleleri içeriyordu. Bu makaleler Üstün Makale Ödülü komitesine sunuldu.
Komite bu makaleleri değerlendirerek olağanüstü açıklık, içgörü, yaratıcılık ve kalıcı etki ölçütlerine göre ödül alan makaleleri seçti.
Elbette ödüllü makaleleri seçmek için kusursuz bir süreç yok, ancak ICML topluluğunun bu makalelerin son derece güçlü katkılarını takdir edeceğine inanıyoruz.
- Üstün Makale Ödülü Komitesi: Danqi Chen, Bohyung Han, Samuel Kaski, Mengdi Wang, Tong Zhang
Kazananlar aşağıdaki gibidir (makale ID sırasına göre):
-
D-Adaptation ile öğrenme oranı gerektirmeyen öğrenme (Learning-Rate-Free Learning by D-Adaptation)
Aaron Defazio (FAIR), Konstantin Mishchenko (Samsung AI Center)
https://openreview.net/forum?id=GXZ6cT5cvY
Bu makale, çok sayıda stokastik konveks optimizasyon problemi için öğrenme oranı gerektirmeyen optimal sınırlar elde etme zorluğunu ele alan ilgi çekici bir yaklaşım sunuyor. Yazarlar, bu tür problemleri optimize ederken geleneksel öğrenme oranı seçiminin sınırlamalarını aşan yeni bir yöntem öneriyor. Bu çalışma optimizasyon alanına değerli ve pratik bir katkı sağlıyor. -
Büyük dil modelleri için bir filigran (A Watermark for Large Language Models)
John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein (University of Maryland)
https://openreview.net/forum?id=aX8ig9X2a7
Bu makale, büyük dil modellerinin çıktısına filigran uygulama yöntemini, yani üretilen metne insanlar tarafından görünmeyen ancak algoritmik olarak tespit edilebilen bir sinyal gömmeyi öneriyor. Filigran, dil modelini yeniden eğitmeden üretilebiliyor ve API'ye ya da parametrelere erişmeden de tespit edilebiliyor. Makale ayrıca filigranı tespit etmek için yorumlanabilir bir p-değerine sahip istatistiksel bir test öneriyor ve duyarlılığını analiz etmek için bilgi kuramsal bir çerçeve sunuyor. Önerilen yöntem basit ve yenilikçi; kapsamlı teorik analiz ve sağlam deneyler içeriyor. LLM tarafından üretilen sentetik metni tespit etme ve denetleme konusundaki önemli zorluklar göz önüne alındığında, bu makalenin topluluk üzerinde önemli bir etki yaratma potansiyeli bulunuyor. -
Görülmeyene genelleme, mantıksal akıl yürütme ve derece müfredatı (Generalization on the Unseen, Logic Reasoning and Degree Curriculum)
Emmanuel Abbe (EPFL, Apple) , Samy Bengio (Apple), Aryo Lotfi (EPFL), Kevin Rizk (EPFL)
https://openreview.net/forum?id=3dqwXb1te4
Bu çalışma, özellikle görülmeyene genelleme (GOTU) ayarını hedefleyerek Boole fonksiyonlarının öğreniminde önemli bir ilerleme sağlıyor. Bu, dağılım dışı genelleme sorununu gündeme getiren zorlu bir problem. Makale bu önemli konuyu derinlemesine ele alıyor ve teorik analizin yanı sıra geniş kapsamlı deneylerle desteklenen iyi yapılandırılmış bir yaklaşım sunuyor. Bu araştırma, Boole fonksiyonu öğreniminin teorik olarak anlaşılmasını geliştiriyor ve bunun pratik algoritmalara nasıl uygulanabileceğini gösteriyor. -
Algoritmik bilgi oranını kullanarak keşif-sömürü stratejileri tasarlamak (Designing Exploration-Exploitation Strategies Using the Algorithmic Information Ratio)
Yonathan Efroni (Technion), Gal Dalal (Technion), Shie Mannor (Technion), Ofer Shayevitz (Tel Aviv University)
https://openreview.net/forum?id=tRhQsHnoFw
Bu makale, bandit ve diğer sıralı karar verme stratejilerini tasarlamaya yönelik son derece genel bir problemi ele alıyor. Algoritmik bilgi oranı adı verilen yeni bir niceliği kullanarak herhangi bir stratejinin pişmanlığını nasıl sınırlayabileceğimizi öneriyor ve bu sınırı optimize etmenin yollarını türetiyor. Bu sınır, önceki benzer bilgi kuramsal niceliklerden daha sıkı ve yöntemler stokastik ile adversaryal bandit ayarlarında iyi performans göstererek her iki dünyada da en iyi performansa ulaşıyor. Özellikle ilgi çekici olan nokta, bu makalenin banditler için iyi bilinen Thompson sampling ve UCB'nin ötesinde yepyeni bir keşif-sömürü stratejileri çizgisinin önünü açabileceğini göstermesi. Bu ilkenin pekiştirmeli öğrenmeye genişletilmesi oldukça umut verici. Bu makale uzman hakemlerden tutarlı biçimde çok güçlü destek aldı.
Referanslar
Bu, ICML 2023'ün resmi web sitesidir. Çeşitli makaleleri ve ödül kazanan çalışmaları inceleyebilirsiniz:
https://icml.cc/Conferences/2023
Bu, makalelerin değerlendirmelerini ve tartışmalarını görebileceğiniz bir platformdur. Her makalenin bağlantısı üzerinden daha ayrıntılı içerik ve tartışmaları inceleyebilirsiniz:
https://openreview.net/
- *Bu yazı GPT-4 kullanılarak otomatik olarak oluşturulmuş bir açıklamadır ve hatalı bilgiler içerebilir. *
- Yanlış bir içerik fark ederseniz lütfen yorumlarda bildiriniz! ♂️
1 yorum
Daha fazlasını okuyun