Makine öğrenimi mühendisi rolüne nasıl geçiş yapabilirim?

xguru · 2024-07-02T11:16:02+09:00

10 yılı aşkın süredir veri yoğun uygulamalar geliştiren bir yazılım mühendisiyim. Ağırlıklı olarak backend (legacy, cloud) tarafında çalıştım (1) Böyle bir geçiş yapmak iyi bir fikir mi? (2) Bunu yapan oldu mu? (3) İşimde ML yokken bunu nasıl yapabilirim? Model oluşturmaya değil de model yönetimi/dağıtımı/ölçeklendirmesine daha çok odaklanan bir ML mühendisliği pratiği var mı? Yani, bunun arkasındaki tüm matematiği öğrenmek zorunda kalmadan bunu yapabilir miyim? arnabgho Snap'te MLE teknik lideri olarak çalışıyor ve Snap'in generative AI altyapısının temellerini attı Çok tatmin edici bir kariyer yolu; MLE yolunu güçlü şekilde tavsiye ederim "Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications" kitabı, prodüksiyon için makine öğrenimi sistemleri tasarlamaya çok iyi bir giriş kitabı Aynı yazarın (Chip Huyen) şu blogu da prodüksiyon seviyesinde AI ve ML sistemleri kurmaya giriş için güçlü şekilde tavsiye edilir Prodüksiyon için LLM uygulamaları kurmak (özet ve çeviri bağlantıları dahil) Sorulara yanıtlar (1) Evet, özellikle de içinde bulunduğumuz dönem ruhunun kırılma noktasında böyle bir geçiş yapmak akıllıca (2) Evet (3) ML mühendisliği becerilerine nasıl başlayıp ustalaşacağınıza dair kaynaklar için yukarıya bakın breckenedge Yaklaşık 7 ay önce, ML kullanarak içerik önerileri oluşturan 3 aylık bir projeye adım attım Hazır bir collaborative filtering kütüphanesiyle başladım, PyTorch ile bitirdim ve ChatGPT çok yardımcı oldu Bu yolda devam etmek mümkündü ama yönetim daha hızlı ve daha iyi sonuçlar istiyordu; deneyimsiz başlayınca 3 ay akışı kavramak için yeterli bir süreydi ML işinin büyük kısmı veri kümelerini temizlemek ve hazırlamaktı; pek eğlenceli değildi Bir yönetici Amazon Personalize'ı denememi önerdi; iyi bir deneme yaptım ama sonuçta başarılı olamadım. Sorun veride miydi yoksa temel modelde miydi, bilmiyorum Black-box ML servislerini kullanırken temel sorun, neler olduğunu analiz edememeniz Amazon Personalize veri katmanını değiştirmeyi zorlaştırdığı için daha iyi bir çözüme yaklaşıp yaklaşmadığınızı anlamak zor Deneyimli bir ML uzmanı Personalize ile daha iyi bir çözüme yaklaşabilir Bu yüzden, ML ile çalışabiliyorsanız bunu kariyer haline getirmeden önce hoşunuza gidip gitmediğini görmek için bir ML deneme projesi yapmanız iyi olur nsyptras Model oluşturmaya değil de model yönetimi/dağıtımı/ölçeklendirmesine daha çok odaklanan bir ML mühendisliği var mı? Ben 2018'de bu alana geçtim. Buna MLOps deniyor. Ondan önce mobil geliştiriciydim O zamanlar geçiş oldukça kolaydı (gerçi şimdi rekabet daha sert olabilir) Benim yaptıklarım: Tek başıma yoğun bir ML projesi yaptım ve ML stack'inin tamamında çalışmanın hoşuma gittiğini fark ettim Bu proje hakkında bir [blog yazısı]((https://www.nicksypteras.com/blog/aisu.html) da yazdım Sonrasında bir MLOps ekibine başvurdum ve bu projeyi yetkinlik ve deneyim kanıtı olarak kullandım Matematikten kaçınabilirsiniz belki ama temelleri öğrenmek her şeyi çok daha kolay hale getirir Temel ML matematiği olmasaydı çok kör uçuyor olurdum diye düşünüyorum ilaksh Sanırım düşündüğünüz şey "MLOps". MLOps da önemli HuggingFace ve RunPod ile Python kullanarak model dağıtma pratiği yapın Ayrıca LLM pretraining, fine-tuning ve evaluation hakkında eğitimler bulun; Predibase'a da bakın Şu anda en önemli şeyin diffusion transformer'lar olduğunu düşünüyorum Bunun için training job'larını nasıl çalıştıracağınızı anlatan dokümanlar bulabilirseniz insanlara yardımcı olabilirsiniz Bir "hile" istiyorsanız replicate.com'a bakın. cog, ML modellerini replicate.com dışında self-host etmek için de yararlı olabilir nottorp Ben "ML mühendisi olmaya geçiş" yapmadım ama son 2,5 aydır açık modelleri kullanmayı, araçlar ve API'lerle onları eğitmeyi ve çalıştırmayı bir ölçüde öğrendim Neredeyse hiç kod yazmadım, çok sayıda kitap okudum Küçük ölçekli organizasyonlarla çalışmak yardımcı olur (sizi role hapsetmeyip sadece yapılacak işi veren yerler) trybackprop Gerçekten ML'ye geçiş yapmayı düşünen deneyimli yazılım mühendisleri için bununla ilgili bir blog yazısı yazıp paylaştım You Don't Need a Masters/PhD – How These 9 Engineers Broke Into ML Meta, Google, Amazon ve OpenAI'da çalışan çeşitli mühendislerin nasıl geçiş yaptığını anlatıyor Hangi strateji ve taktikleri kullandıklarını görebilirsiniz Yanıtlar Boş zamanınızda kurcalamaktan keyif alıyorsanız buna 'akıllıca' denebilir. Ben geçiş yapmadan önce 1 yıl boyunca geceleri ve hafta sonları materyalleri çalıştım; bu işi tam zamanlı yapmak istediğimi ilk kez o zaman düşündüm Evet; geçişten sonra 7 yıldır ML mühendisi olarak çalışıyorum. Şu anda bir FAANG şirketinde ML teknik lideriyim. Daha önce altyapı ve ürün tarafında çalışıyordum Yıllar önce aldığım tavsiyelerden biri, prodüksiyon ML'nin nasıl göründüğüne aşina olabilmek için ML işine komşu bir ekibe katılmaktı. Ayrıca Kaggle.com'da ML düşünme biçimi pratiği yapmaya başlayabilirsiniz Blogumdaki diğer yazılarda AI/ML ve bu iş için gerekli matematiği öğrenebileceğiniz kaynaklar da var Linear Algebra 101 for AI/ML – Part 1 (etkileşimli quiz'ler, vektör/matris temelleri ve sektörde yaygın kullanılan açık kaynaklı ML framework'ü PyTorch'a kısa bir giriş içerir). deepGem fast.ai'nin "Practical Deep Learning for Coders" kursuna bakın Materyal 2022'den olsa da burada öğretilen ilkeler bugün hâlâ çok geçerli ve çok faydalı Özellikle Self Attention, transformer'lar ve bu kavramlara dayanan modern mimariler için bu böyle fast.ai kursunu bitiren birçok kişi kariyerini yalnızca ML mühendisi olarak değil, araştırma bilim insanı olarak da değiştirdi Yani kolay bir kurs değil; boş zaman ayırıp takip etmeniz gerekir Dağıtım/ölçeklendirme ile ilgileniyorsanız doğrudan 1. bölümdeki 2. derse geçebilirsiniz. Jeremy harika bir öğretmen Ben akademi kökenli olmadığım için onun ders anlatım tarzını çok sağlıklı buluyorum

(news.ycombinator.com)

38 puan yazan xguru 2024-07-02 | 2 yorum | WhatsApp'ta paylaş

10 yılı aşkın süredir veri yoğun uygulamalar geliştiren bir yazılım mühendisiyim. Ağırlıklı olarak backend (legacy, cloud) tarafında çalıştım
(1) Böyle bir geçiş yapmak iyi bir fikir mi? (2) Bunu yapan oldu mu? (3) İşimde ML yokken bunu nasıl yapabilirim?
Model oluşturmaya değil de model yönetimi/dağıtımı/ölçeklendirmesine daha çok odaklanan bir ML mühendisliği pratiği var mı?
- Yani, bunun arkasındaki tüm matematiği öğrenmek zorunda kalmadan bunu yapabilir miyim?

arnabgho

Snap'te MLE teknik lideri olarak çalışıyor ve Snap'in generative AI altyapısının temellerini attı
- Çok tatmin edici bir kariyer yolu; MLE yolunu güçlü şekilde tavsiye ederim
"Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications" kitabı, prodüksiyon için makine öğrenimi sistemleri tasarlamaya çok iyi bir giriş kitabı
Aynı yazarın (Chip Huyen) şu blogu da prodüksiyon seviyesinde AI ve ML sistemleri kurmaya giriş için güçlü şekilde tavsiye edilir
Prodüksiyon için LLM uygulamaları kurmak (özet ve çeviri bağlantıları dahil)
Sorulara yanıtlar
- (1) Evet, özellikle de içinde bulunduğumuz dönem ruhunun kırılma noktasında böyle bir geçiş yapmak akıllıca
- (2) Evet
- (3) ML mühendisliği becerilerine nasıl başlayıp ustalaşacağınıza dair kaynaklar için yukarıya bakın

breckenedge

Yaklaşık 7 ay önce, ML kullanarak içerik önerileri oluşturan 3 aylık bir projeye adım attım
Hazır bir collaborative filtering kütüphanesiyle başladım, PyTorch ile bitirdim ve ChatGPT çok yardımcı oldu
Bu yolda devam etmek mümkündü ama yönetim daha hızlı ve daha iyi sonuçlar istiyordu; deneyimsiz başlayınca 3 ay akışı kavramak için yeterli bir süreydi
ML işinin büyük kısmı veri kümelerini temizlemek ve hazırlamaktı; pek eğlenceli değildi
Bir yönetici Amazon Personalize'ı denememi önerdi; iyi bir deneme yaptım ama sonuçta başarılı olamadım. Sorun veride miydi yoksa temel modelde miydi, bilmiyorum
Black-box ML servislerini kullanırken temel sorun, neler olduğunu analiz edememeniz
Amazon Personalize veri katmanını değiştirmeyi zorlaştırdığı için daha iyi bir çözüme yaklaşıp yaklaşmadığınızı anlamak zor
Deneyimli bir ML uzmanı Personalize ile daha iyi bir çözüme yaklaşabilir
Bu yüzden, ML ile çalışabiliyorsanız bunu kariyer haline getirmeden önce hoşunuza gidip gitmediğini görmek için bir ML deneme projesi yapmanız iyi olur

nsyptras

Model oluşturmaya değil de model yönetimi/dağıtımı/ölçeklendirmesine daha çok odaklanan bir ML mühendisliği var mı?
Ben 2018'de bu alana geçtim. Buna MLOps deniyor. Ondan önce mobil geliştiriciydim
O zamanlar geçiş oldukça kolaydı (gerçi şimdi rekabet daha sert olabilir)
Benim yaptıklarım:
- Tek başıma yoğun bir ML projesi yaptım ve ML stack'inin tamamında çalışmanın hoşuma gittiğini fark ettim
- Bu proje hakkında bir [blog yazısı]((https://www.nicksypteras.com/blog/aisu.html) da yazdım
- Sonrasında bir MLOps ekibine başvurdum ve bu projeyi yetkinlik ve deneyim kanıtı olarak kullandım
- Matematikten kaçınabilirsiniz belki ama temelleri öğrenmek her şeyi çok daha kolay hale getirir
- Temel ML matematiği olmasaydı çok kör uçuyor olurdum diye düşünüyorum

ilaksh

Sanırım düşündüğünüz şey "MLOps". MLOps da önemli
HuggingFace ve RunPod ile Python kullanarak model dağıtma pratiği yapın
Ayrıca LLM pretraining, fine-tuning ve evaluation hakkında eğitimler bulun; Predibase'a da bakın
Şu anda en önemli şeyin diffusion transformer'lar olduğunu düşünüyorum
- Bunun için training job'larını nasıl çalıştıracağınızı anlatan dokümanlar bulabilirseniz insanlara yardımcı olabilirsiniz
Bir "hile" istiyorsanız replicate.com'a bakın. cog, ML modellerini replicate.com dışında self-host etmek için de yararlı olabilir

nottorp

Ben "ML mühendisi olmaya geçiş" yapmadım ama son 2,5 aydır açık modelleri kullanmayı, araçlar ve API'lerle onları eğitmeyi ve çalıştırmayı bir ölçüde öğrendim
Neredeyse hiç kod yazmadım, çok sayıda kitap okudum
Küçük ölçekli organizasyonlarla çalışmak yardımcı olur (sizi role hapsetmeyip sadece yapılacak işi veren yerler)

trybackprop

Gerçekten ML'ye geçiş yapmayı düşünen deneyimli yazılım mühendisleri için bununla ilgili bir blog yazısı yazıp paylaştım
- You Don't Need a Masters/PhD – How These 9 Engineers Broke Into ML
- Meta, Google, Amazon ve OpenAI'da çalışan çeşitli mühendislerin nasıl geçiş yaptığını anlatıyor
- Hangi strateji ve taktikleri kullandıklarını görebilirsiniz
Yanıtlar
- 1. Boş zamanınızda kurcalamaktan keyif alıyorsanız buna 'akıllıca' denebilir. Ben geçiş yapmadan önce 1 yıl boyunca geceleri ve hafta sonları materyalleri çalıştım; bu işi tam zamanlı yapmak istediğimi ilk kez o zaman düşündüm
- 1. Evet; geçişten sonra 7 yıldır ML mühendisi olarak çalışıyorum. Şu anda bir FAANG şirketinde ML teknik lideriyim. Daha önce altyapı ve ürün tarafında çalışıyordum
- 1. Yıllar önce aldığım tavsiyelerden biri, prodüksiyon ML'nin nasıl göründüğüne aşina olabilmek için ML işine komşu bir ekibe katılmaktı. Ayrıca Kaggle.com'da ML düşünme biçimi pratiği yapmaya başlayabilirsiniz
Blogumdaki diğer yazılarda AI/ML ve bu iş için gerekli matematiği öğrenebileceğiniz kaynaklar da var
Linear Algebra 101 for AI/ML – Part 1
(etkileşimli quiz'ler, vektör/matris temelleri ve sektörde yaygın kullanılan açık kaynaklı ML framework'ü PyTorch'a kısa bir giriş içerir).

deepGem

fast.ai'nin "Practical Deep Learning for Coders" kursuna bakın
Materyal 2022'den olsa da burada öğretilen ilkeler bugün hâlâ çok geçerli ve çok faydalı
Özellikle Self Attention, transformer'lar ve bu kavramlara dayanan modern mimariler için bu böyle
fast.ai kursunu bitiren birçok kişi kariyerini yalnızca ML mühendisi olarak değil, araştırma bilim insanı olarak da değiştirdi
Yani kolay bir kurs değil; boş zaman ayırıp takip etmeniz gerekir
Dağıtım/ölçeklendirme ile ilgileniyorsanız doğrudan 1. bölümdeki 2. derse geçebilirsiniz. Jeremy harika bir öğretmen
- Ben akademi kökenli olmadığım için onun ders anlatım tarzını çok sağlıklı buluyorum

2 yorum

rawoon89 2024-07-03

Keyifle okudum. Teşekkür ederim.

ahwjdekf 2024-07-02

Kore'de sadece API çağırma düzeyinde bilgi sahibi olmanız yeterli; şirketler büyük paralar harcayıp yatırım yapmak istemiyor ama yine de sıcak trendleri bir şekilde takip etmek istiyor... böyle belirsiz bir atmosfer var.