[NAVER] ML GPU model sunucusunun performansını koruyarak CPU sunucusuna geçiş deneyimi paylaşımı (feat. torchserve)

 (medium.com)
3 puan yazan ninebow 2023-07-26 | 3 yorum | WhatsApp'ta paylaş
  • Bu yazı GPT-4 kullanılarak otomatik olarak oluşturulmuş bir açıklamadır, hatalı bilgiler içerebilir.
  • Yanlış bir içerik fark ederseniz lütfen yorumlarda bildiriniz!

Giriş

Bu yazı, Naver Place geliştirme ekibinin ML model sunucusunu GPU’dan CPU’ya geçirme sürecini paylaşmaktadır. Bu geçiş, sunucu maliyetlerini azaltmak ve sunucu operasyonlarını daha verimli hale getirmek amacıyla yapılmıştır.

Özet

1. Model sunucusunun GPU’dan CPU’ya geçirilmesi

  • Naver Place geliştirme ekibi, model sunucusunu GPU’dan CPU’ya taşıma çalışması yürüttü. Bunun amacı sunucu maliyetlerini azaltmak ve sunucu işletimini daha verimli hale getirmekti. Bu çalışma, model eğitimi (training) için kullanılan GPU’nun CPU ile değiştirilmesini de içeriyordu.

2. Model sunucusunun yapısı

  • Model sunucusu genel olarak üç bölümden oluşur: model eğitimi, model sunucusu ve istemci. Model eğitimi, veri kümesi (dataset) kullanılarak modelin eğitilmesi sürecini kapsar; model sunucusu eğitilmiş modeli barındırır ve istemci model sunucusuna istek gönderip yanıt alır.

3. GPU’dan CPU’ya geçiş

  • GPU’dan CPU’ya geçiş birkaç adım içerir. Öncelikle model eğitimi kodu CPU’da çalışabilecek şekilde düzenlenir. Ardından model sunucusu CPU’da çalışacak şekilde yapılandırılır. Son olarak istemci kodu, CPU üzerinde çalışan model sunucusuna istek gönderebilecek şekilde değiştirilir.
  1. Geçiş sonrası sonuçlar
  • Geçişten sonra sunucu maliyetleri önemli ölçüde azaltıldı ve sunucu operasyonları daha verimli hale geldi. Ayrıca CPU üzerinde çalışan model sunucusu, GPU üzerinde çalışan model sunucusuyla karşılaştırıldığında performans kaybı olmadan iyi çalıştı.

Referans

  • Naver Place Dev Blog
    • Bu blog, Naver Place geliştirme ekibinin çeşitli projelerini ve deneyimlerini paylaşır. Bu yazıda bahsedilen GPU’dan CPU’ya geçiş çalışması hakkında daha fazla bilgi edinebilirsiniz.

İlgili okumalar

3 yorum

 
xguru 2023-07-27

Yazıyı düzenledim.
Yazının başında bir uyarı ifadesi varsa, Slack/Twitter'da yalnızca o uyarı ifadesi görünür.
Mümkünse yazının başına bir özet gelebilecek şekilde düzenlemenizi rica ederim.
 
ninebow 2023-07-27

Bundan sonra daha dikkatli olacağım. Teşekkür ederim! :)