Bir kullanıcı, sunumda yeni ya da faydalı hiçbir şey bulamadığını hissetmiş. İçeriğin dinsel ve boş olduğunu düşünüyor
Ilya'nın sunuma Quoc Le'nin fotoğrafıyla başlamasını olumlu değerlendirmiş. Quoc Le, 2012 tarihli sinir ağı ölçeklendirme makalesinin başyazarı ve bu kullanıcının derin öğrenmeye ilgi duymasına vesile olmuş
Ilya'nın sözlerinin alçakgönüllü olduğunu, kamudaki önceki araştırmalara dayandığını; ancak şu anda büyük bir proje yürüttüğünü ve hayal gücünün zengin olduğunu değerlendiriyor
Ilya'nın "çıkarım daha öngörülemezdir" sözünü önemli buluyor. Faydalı çıkarımın doğası gereği öngörülemez olduğunu savunuyor
Pipeline paralelliğinin neden kötü bir fikir olduğu sorusunu gündeme getiriyor
Sunumun birçok açıdan gereksiz içerikle dolu olduğunu hissetmiş. Son 10 yılın özeti, ölçeklendirme yasalarının sınırları, ajanlar, sentetik veri ve hesaplama iyileştirmeleri gibi konulara değinilmiş
Sutskever'in "ön eğitim sona erecek" dediğini vurguluyor. Veri sınırları nedeniyle model eğitme biçiminin değişeceğini öngörüyor
İnternet verisi yerine eğitimde kullanılabilecek alternatif veri olarak küratörlü sentetik veri kümeleri öneriyor. Telif hakkı sorunları nedeniyle büyük ölçekli özel veri kümelerinin kullanımının sınırlı olduğunu, ancak veri sahipleri bizzat kullanırsa hukuki sorunların çözülebileceğini açıklıyor
DeepMind'in podcast'inin bu sunuma benzer konuları ele aldığını ama daha ilgi çekici olduğunu değerlendiriyor
İnternet verisini sonlu bir kaynağa benzetmesini olumlu buluyor. Kaynak sınırlarının farkına varılması ve buna göre hareket edilmesi gerektiğini savunuyor
Transformer'lardaki 'nöronları' gerçek biyolojik nöronlarla karşılaştırmanın şaşırtıcı olduğunu belirtiyor. Gerçek nöronlar karmaşık biyokimyasal süreçler içerirken transformer'lar basit doğrusal katmanlar ve doğrusal olmayan yapılar kullanıyor
LLM'in YouTube ham transkriptini düzeltmek için Gemini Flash 8B kullandığını belirtiyor
1 yorum
Hacker News yorumları
Bir kullanıcı, sunumda yeni ya da faydalı hiçbir şey bulamadığını hissetmiş. İçeriğin dinsel ve boş olduğunu düşünüyor
Ilya'nın sunuma Quoc Le'nin fotoğrafıyla başlamasını olumlu değerlendirmiş. Quoc Le, 2012 tarihli sinir ağı ölçeklendirme makalesinin başyazarı ve bu kullanıcının derin öğrenmeye ilgi duymasına vesile olmuş
Ilya'nın sözlerinin alçakgönüllü olduğunu, kamudaki önceki araştırmalara dayandığını; ancak şu anda büyük bir proje yürüttüğünü ve hayal gücünün zengin olduğunu değerlendiriyor
Ilya'nın "çıkarım daha öngörülemezdir" sözünü önemli buluyor. Faydalı çıkarımın doğası gereği öngörülemez olduğunu savunuyor
Pipeline paralelliğinin neden kötü bir fikir olduğu sorusunu gündeme getiriyor
Sunumun birçok açıdan gereksiz içerikle dolu olduğunu hissetmiş. Son 10 yılın özeti, ölçeklendirme yasalarının sınırları, ajanlar, sentetik veri ve hesaplama iyileştirmeleri gibi konulara değinilmiş
Sutskever'in "ön eğitim sona erecek" dediğini vurguluyor. Veri sınırları nedeniyle model eğitme biçiminin değişeceğini öngörüyor
İnternet verisi yerine eğitimde kullanılabilecek alternatif veri olarak küratörlü sentetik veri kümeleri öneriyor. Telif hakkı sorunları nedeniyle büyük ölçekli özel veri kümelerinin kullanımının sınırlı olduğunu, ancak veri sahipleri bizzat kullanırsa hukuki sorunların çözülebileceğini açıklıyor
DeepMind'in podcast'inin bu sunuma benzer konuları ele aldığını ama daha ilgi çekici olduğunu değerlendiriyor
İnternet verisini sonlu bir kaynağa benzetmesini olumlu buluyor. Kaynak sınırlarının farkına varılması ve buna göre hareket edilmesi gerektiğini savunuyor
Transformer'lardaki 'nöronları' gerçek biyolojik nöronlarla karşılaştırmanın şaşırtıcı olduğunu belirtiyor. Gerçek nöronlar karmaşık biyokimyasal süreçler içerirken transformer'lar basit doğrusal katmanlar ve doğrusal olmayan yapılar kullanıyor
LLM'in YouTube ham transkriptini düzeltmek için Gemini Flash 8B kullandığını belirtiyor