DeepSeek çıkarım motorunu açık kaynağa taşıma yolculuğu

• DeepSeek ekibi, dahili çıkarım motorunu (DeepSeek Inference Engine) açık kaynağa geri kazandırma planını açıkladı
• Mevcut çıkarım motoru vLLM tabanlı ve DeepSeek-V3 ile R1 modellerine yönelik dağıtım talebi arttıkça paylaşım seçeneği değerlendiriliyor
• Mevcut kod, altyapı bağımlılıkları ve bakım yükü nedeniyle tamamının yayımlanması zor, bunun yerine yön modülerleştirme ve işlev bazlı katkı modeline çevrildi
• Bundan sonra açık kaynak topluluğuyla yakın iş birliği içinde performans optimizasyonları ve yeniden kullanılabilir işlevlerin paylaşılması planlanıyor
• DeepSeek, çıkarım optimizasyonu ve model yayınlarında toplulukla Day-0 destek eşzamanlamasını sağlama konusunda daha aktif olacak

---

DeepSeek çıkarım motorunu açık kaynağa taşıma yolculuğu

Open Source Week'e gelen tepki ve sonraki katkılar

• Yakın zamanda düzenlenen Open Source Week kapsamında çeşitli kütüphaneler açık kaynak olarak yayımlandı
• Topluluktan gelen olumlu tepkiyle birlikte iş birliği, tartışma ve hata düzeltmeleri aktif biçimde sürdü
• Bunun sonucunda DeepSeek dahili çıkarım motorunun da açık kaynak olarak paylaşılmasına karar verildi

Temel teknoloji

• DeepSeek'in eğitim çerçevesi PyTorch tabanlı
• Çıkarım motoru, vLLM projesinin erken dönem bir fork'u üzerine geliştirildi ve DeepSeek modellerine özel çok sayıda özelleştirme içeriyor

Tüm sistemi açık kaynak olarak yayımlamanın pratik kısıtları

• Kod tabanı farkı: 1 yıldan uzun süre önceki bir vLLM fork'undan başlandı; yapı benzer olsa da önemli ölçüde değişti
• Dahili altyapı bağımlılığı: Küme yönetim araçları gibi DeepSeek'e özgü altyapıyla güçlü biçimde bağlı olduğu için dış kullanım zor
• Bakım kaynağı eksikliği: Küçük bir araştırma ekibi olarak büyük ölçekli bir açık kaynak projeyi sürekli yönetmeye yetecek kaynak bulunmuyor

Alternatif: mevcut açık kaynak projeleriyle iş birliği

Bundan sonra katkılar şu yönde yapılacak:

• Modüler işlev çıkarımı: Yeniden kullanılabilir bileşenler ayrıştırılarak bağımsız kütüphaneler halinde katkı sunulacak
• Performans optimizasyonlarının paylaşılması: Dahili uygulamadaki performans iyileştirmeleri ve tasarım fikirleri mevcut açık kaynak projelerine aktarılacak

Topluluğa teşekkür ve vizyon

• Açık kaynak topluluğu olmasaydı AGI geliştirmesindeki ilerleme mümkün olmazdı
• İşletim sistemi, diller, ML çerçeveleri ve çıkarım motorları gibi yapay zeka inovasyonunun temeli açık kaynak ekosistemi
• DeepSeek, toplulukla eşgüdüm içinde AGI'nin faydalarının tüm insanlığa katkı sunabilmesi için çalışmayı sürdürecek

[!NOTE]
Bu yazı, DeepSeek Inference Engine kod tabanını açık kaynaklaştırma stratejisi hakkında bir bilgilendirmedir.
Gelecekte model yayımlamalarıyla ilgili olarak DeepSeek, açık kaynak topluluğu ve donanım ortaklarıyla iş birliğini genişletmeyi sürdürecek.
Özellikle model yayınından önce, çıkarımla ilgili teknolojileri önceden paylaşarak ve hizalayarak farklı donanım ortamlarında Day-0 itibarıyla SOTA desteğinin mümkün olmasını sağlamak için ekosistemi koordine etmeye devam edecek.

[GN⁺]

Hacker News görüşleri

• Mart ayında vLLM, DeepSeek makalesindeki iyileştirmeleri uyguladı ve vLLM v0.7.3'ün DeepSeek performansı yaklaşık 3 katın üzerinde arttı

  • Hâlâ iyileştirme için çok alan var
  • vLLM kullanılarak sharegpt veri setinde 5K token/sn, rastgele 2000/100 ile 12K token/sn benchmark yapıldı
  • DeepSeek-V3/R1 çıkarım sistemi genel bakışına göre her H800 düğümü, prefill sırasında ortalama 73.7k token/sn girdi (cache hit dahil) veya decoding sırasında 14.8k token/sn çıktı sağlıyor
  • DeepSeek farklı bir çıkarım mimarisi dağıtıyor, ancak bu durum iyileştirme için çok alan olduğunu gösteriyor
  • Daha fazla açık kaynak bekleniyor

• Kod tabanı ayrışma noktasına dair görüşe katılıyorum

  • DeepSeek modellerine uyacak şekilde özelleştirilmiş, vLLM'in erken bir fork'una dayanmak ölçeklendirmeyi zorlaştırıyor
  • Sürdürülebilir bir alt kütüphaneyi ayırıp bilgiyi doğrudan paylaşma yaklaşımı, toplulukla iş birliği yapmak için iyi bir yöntem
  • Engeller var ama katkı sunmamanın kolay yolunu seçmiyorlar
  • Teknoloji hakkında yalnızca bilgi paylaşmak daha iyi olabilir, ama bu yine de bilgi paylaşımı
  • Bunu yapmamaları daha kolay olurdu gibi görünüyor
  • Onlara övgülerimi gönderiyorum

• Ticari yapay zeka şirketlerinin araştırma sonuçlarını ve know-how'ı paylaşma motivasyonu

  • Google'ın Transformer mimarisini neden yayımladığı
  • İnsanlık için iyi bir şey yapmak ve ilerlemeyi teşvik etmek isteyebilirler
  • Şirket yönetiminin ticari çıkarlara aykırı görünen böyle bir adımı nasıl atabildiği merak konusu
  • Bilgi ve fikri mülkiyet paylaşımını teşvik eden ticari bir mantık olup olmadığı merak ediliyor

• "Açık kaynak topluluğu için ilginç bir şey var, ancak bunu şirket dışında çalıştırabilmek için çok fazla düzenleme gerekiyor ve yayımlandıktan sonra bunu düzgün şekilde sürdürecek personel yok"

  • Birçok şirket bu durumda
  • "Bunu biz sürdürmeyeceğiz ama istediğiniz gibi fork edebilirsiniz" notuyla açık kaynak yapılmasını isterdim

• DeepSeek'in iyi mühendislik çalışmaları görüldü

  • Umarım devam eder

• Bunun, Çin'in ABD hakimiyetine karşılık vermek için açık kaynak yapay zeka araçları, modelleri vb. büyük ölçekte piyasaya sürme stratejisi olup olmadığı merak ediliyor

  • Bunun pazar için iyi bir şey olduğu düşünülüyor

• tl;dr "vLLM fork'u sürdürülemez hâle geldi ve şimdi bunu kamuya açık şekilde yeniden inşa etmeyi planlıyorlar"

• Bunun sansürü uygulamanın bir yolu gibi hissettirdiği söyleniyor