Ask HN: AI/ML yetkinliğini geliştirmek için her gün ne yapılmalı?

• Günde yaklaşık 1 saat AI/ML yetkinliği geliştirmeye ayrılabildiğinde, zamanı ve enerjiyi en iyi nasıl değerlendireceğini arıyor
• Adaylar olarak küçük projeler, bloglar/bültenler, dersler, kitaplar, Kaggle yarışmaları, AI/ML forum ve topluluklarına katılım ya da bunların bir kombinasyonunu öneriyor
• İyi yazılım mühendislerinin ML yetkinliğini geliştirmesine yardımcı olması için, mümkünse her etkinliğe ayrılacak zaman oranı veya ağırlığını da istiyor

[GN⁺]

Hacker News görüşleri

• Derece deneyimini paylaşma

  • İyi bir okulda ML (makine öğrenimi) alanında yüksek lisans derecesi aldı. Okulda öğrendiklerini tek başına da öğrenebilirdi, ancak okul tek başına elde edilemeyecek bir odaklanma ve baskı sağladı.
  • En çok şey öğrendiği deneyim, makaleleri yeniden uygulamak oldu. Dersler ve ders kitapları sadece kelimelerden ibaret; bir şeyi gerçekten yapmak çok daha derin bir bilgi sağlıyor.
  • Çeşitli müfredatlar önerebilir, ancak 1 saatlik yoğun problem çözmenin en iyisi olduğunu söylüyor.
  • Bazı proje önerileri: basit fonksiyonları öğrenmek için küçük bir sinir ağını eğitmek, MNIST rakam sınıflandırıcısı, özel bir corpus ile GPT2 fine-tuning yapmak, görsel benzerliği ölçmek için Siamese network eğitmek vb.
  • Kendi sinir ağını ve backpropagation'ı yazmakla zaman kaybetmeyin; bunun yerine profiling ve debugging araçlarını kullanmayı öğrenin diye tavsiye ediyor.

• Yapay zeka araştırmacısı ve teknik girişimcinin tavsiyesi

  • Bunun en son gelişmeler hakkında konuşmak olduğunu varsayarak, doğrusal bir yol izlememeyi öneriyor. Bir kurs ve küçük bir proje yapın, süre sınırı koyun ve bitirmeye çalışın.
  • İlginç bir araştırma alanı bulun, ilgili GitHub kodunu çalıştırın ve bunu nasıl geliştirebileceğinizi veya bir uygulamada nasıl kullanabileceğinizi araştırın.
  • fast.ai kursunu almak, Karpathy'nin blog yazılarını okumak, Stanford cs231n ve cs234 derslerini takip etmek gibi öneriler sunuyor.
  • İlginizi çeken bir proje bulun ve çalıştırın.

• ML'yi pratikte kullanmanın önemi

  • Pek çok yorum ML'nin düşük seviyeli kısımlarını vurgulayacaktır, ancak bugün ML'de ihtiyaç duyulan şey uygulama seviyesinde akıllı insanlardır.
  • Mevcut LLM teknolojisini kullanarak sıradan insanların kullanabileceği yazılımlar üretmek önemli ve gerekli bir iştir.
  • Günlük pratik; uygulama taslakları çizmek, prompt ve function calling kurgulamak, ürettiklerinizi nasıl pazarlayacağınızı öğrenmek, sıfırdan bire giden araçlar yapmak gibi şeylerdir.
  • Örnek olarak, Aristoteles dönemindeki ortak kataloglama tekniğini modern embedding çağında uygulamayı ve saf MD spesifikasyonunu anlayıp streaming generation modelini entegre etmeyi veriyor.

• AI/ML'yi günlük işe dönüştürmek

  • AI/ML'yi kritik yolun içine koymanın bir yolunu bulun. Yeni bir dil öğrenmek gibi, tam daldırma kadar etkili çok az şey vardır.
  • Henüz bu alanda iş bulacak kadar sağlam bir temele sahip değilseniz, bir tutku projesi bulun ve sürekli yeni çözüm yolları düşünün; bu bir sonraki en iyi yöntemdir.
  • Son olarak, yeniden okula dönmeyi değerlendirin. Günde 1 saatten fazlasını gerektirir, ancak diğer öğrenme stratejilerinden çok daha hızlı ve somut sonuçlar gösterebilir.

• Tipik bir ML/AI öğrencisinin yol haritası

  • Matematik, bilgisayar bilimi gibi önkoşul çalışmalar gereklidir. Buna genellikle kalkülüs, lineer cebir, olasılık ve istatistik, programlama, nesne yönelimli programlama, veri yapıları ve algoritmalar dahildir.
  • Temel bir ML dersinden sonra, hızla değişen DL'nin (derin öğrenme) temel bölümlerine geçilir.
  • Yol ikiye ayrılır: ML engineering ve ML research. Engineering, ML pipeline ile ilgili teknik konulara; research ise bilimin kendisine odaklanır.
  • Başkalarının da dediği gibi, araçları kullanarak bir şeyler uygulamak eğlenceli ve faydalıdır. Her modeli kendiniz uygulamaya kalkarsanız çok zorlanabilirsiniz.
  • "Pratik" ML öğrenirken amaç genellikle, veriyi API üzerinden alıp sonuç döndürebilen bir şekilde modeli uygulamaktır. Bu da veri işleme, yazılım geliştirme ve hosting, API geliştirme gibi zorlukları içerir.

• AI/ML'nin sınırlarını kabul etmek

  • Hayal gücünüzü fazla serbest bırakmayın ya da AI/ML'nin yapabilecekleri konusunda aşırı güvene kapılmayın.
  • Büyük bir şirkette 2 yıl boyunca ML projelerine katıldı, ancak bunların mevcut istatistiksel yöntemlerden daha iyi sonuç vermediğini ve ML'nin "black box" yapısını anlayamadıkları için süreçte gerçek bir iyileşme olmadığını fark etti.
  • Pek çok ML çalışması, soruna çözüm ararken aslında çözüme problem aramak gibiydi.
  • Veritabanlarını (SQL ve NoSQL) nasıl kullanacağınızı anlamak önemlidir. ML'yi etkili kullanmak için büyük miktarda veriyi yüksek performansla programlayabilen güçlü beceriler gerekir.

• AI/ML çalışma yöntemi

  • Hastie ve diğerlerinin "An Introduction to Statistical Learning with Applications in R/Python" kitabını baştan sona okuyun ve açıklanan kavramları/fikirleri/nüansları/incelikleri anlayın.
  • Elinizin altında matematik/istatistik kitapları bulundurun; bilmediğiniz bir matematik tekniği çıktığında hemen bu kitaplara bakın ya da kısa YouTube videolarıyla kavramı ve kullanımını öğrenin.
  • AI/ML çalışıp anlamanın en basit ve doğrudan yolu budur. Bu başlıkta anılan diğer her şey bundan sonra yapılmalıdır.

• ML ile mühendisliğin birleşimi

  • ML ile engineering arasındaki birleşim alanına bakın.
  • ML ops, DevOps uygulamaları, ML alanında testing ve ci/cd, birden fazla GPU üzerinde eğitim yapma, özellikle de büyük ölçekte ve düşük maliyetle LLM hosting yapma gibi konuları değerlendirin.
  • Akademide güçlü akademik geçmişe sahip yüzlerce aday var, ancak onların hedeflerini gerçeğe dönüştürebilecek deneyimli mühendis sayısı çok az.

• Derin öğrenmeye odaklanma

  • Çoğu LLM, transformer mimarisini kullanır. Bunu görsel olarak öğrenebilir; blog yazıları veya Andrej Karpathy'nin yazıları ve materyalleri üzerinden çalışabilirsiniz.
  • Her hafta yayımlanan makaleleri takipte kalmak için her pazar özetler okuyor.
  • Mühendislik tarafını daha fazla öğrenmek için EleutherAI'nin Discord sunucusuna katılabilir veya llama.cpp gibi projelerin GitHub tartışmalarını takip edebilirsiniz.
  • Muhtemelen en verimli gelişim yöntemi, alandaki temel makaleleri yeniden uygulamaktır. Net bir hedef vardır, başarının açık işaretleri vardır ve işinizi doğrulayıp karşılaştırabileceğiniz birçok uygulama bulunur.

• LLM yeni başlayanları için quiz

  • Kısa süre önce CS dışı (biyomedikal) lisansüstü öğrenciler için LLM'e giriş dersi verdi. Ödev olarak bir quiz vermek istedi ama iyi bir tane bulamayınca çoktan seçmeli bir quiz hazırladı. Bu quiz "şeytani" derecede zordur ve sağlam bir anlayış olmadan takılabilirsiniz. Bazı sorular, kavrayışı ölçen ve doğru cevabı bulmaya çalışırken öğrenmeye yardımcı olan nüanslar içeriyor. E-posta toplamayan bir Google Form'dur.