DeepSeek çıkarım motorunu açık kaynağa taşıma yolculuğu

• DeepSeek ekibi, dahili çıkarım motorunu (DeepSeek Inference Engine) açık kaynağa geri kazandırma planını açıkladı
• Mevcut çıkarım motoru vLLM tabanlı ve DeepSeek-V3 ile R1 modellerine yönelik dağıtım talebi arttıkça paylaşım seçeneği değerlendiriliyor
• Mevcut kod, altyapı bağımlılıkları ve bakım yükü nedeniyle tamamının yayımlanması zor, bunun yerine yön modülerleştirme ve işlev bazlı katkı modeline çevrildi
• Bundan sonra açık kaynak topluluğuyla yakın iş birliği içinde performans optimizasyonları ve yeniden kullanılabilir işlevlerin paylaşılması planlanıyor
• DeepSeek, çıkarım optimizasyonu ve model yayınlarında toplulukla Day-0 destek eşzamanlamasını sağlama konusunda daha aktif olacak

---

DeepSeek çıkarım motorunu açık kaynağa taşıma yolculuğu

Open Source Week'e gelen tepki ve sonraki katkılar

• Yakın zamanda düzenlenen Open Source Week kapsamında çeşitli kütüphaneler açık kaynak olarak yayımlandı
• Topluluktan gelen olumlu tepkiyle birlikte iş birliği, tartışma ve hata düzeltmeleri aktif biçimde sürdü
• Bunun sonucunda DeepSeek dahili çıkarım motorunun da açık kaynak olarak paylaşılmasına karar verildi

Temel teknoloji

• DeepSeek'in eğitim çerçevesi PyTorch tabanlı
• Çıkarım motoru, vLLM projesinin erken dönem bir fork'u üzerine geliştirildi ve DeepSeek modellerine özel çok sayıda özelleştirme içeriyor

Tüm sistemi açık kaynak olarak yayımlamanın pratik kısıtları

• Kod tabanı farkı: 1 yıldan uzun süre önceki bir vLLM fork'undan başlandı; yapı benzer olsa da önemli ölçüde değişti
• Dahili altyapı bağımlılığı: Küme yönetim araçları gibi DeepSeek'e özgü altyapıyla güçlü biçimde bağlı olduğu için dış kullanım zor
• Bakım kaynağı eksikliği: Küçük bir araştırma ekibi olarak büyük ölçekli bir açık kaynak projeyi sürekli yönetmeye yetecek kaynak bulunmuyor

Alternatif: mevcut açık kaynak projeleriyle iş birliği

Bundan sonra katkılar şu yönde yapılacak:

• Modüler işlev çıkarımı: Yeniden kullanılabilir bileşenler ayrıştırılarak bağımsız kütüphaneler halinde katkı sunulacak
• Performans optimizasyonlarının paylaşılması: Dahili uygulamadaki performans iyileştirmeleri ve tasarım fikirleri mevcut açık kaynak projelerine aktarılacak

Topluluğa teşekkür ve vizyon

• Açık kaynak topluluğu olmasaydı AGI geliştirmesindeki ilerleme mümkün olmazdı
• İşletim sistemi, diller, ML çerçeveleri ve çıkarım motorları gibi yapay zeka inovasyonunun temeli açık kaynak ekosistemi
• DeepSeek, toplulukla eşgüdüm içinde AGI'nin faydalarının tüm insanlığa katkı sunabilmesi için çalışmayı sürdürecek

> [!NOTE]
> Bu yazı, DeepSeek Inference Engine kod tabanını açık kaynaklaştırma stratejisi hakkında bir bilgilendirmedir.
> Gelecekte model yayımlamalarıyla ilgili olarak DeepSeek, açık kaynak topluluğu ve donanım ortaklarıyla iş birliğini genişletmeyi sürdürecek.
> Özellikle model yayınından önce, çıkarımla ilgili teknolojileri önceden paylaşarak ve hizalayarak farklı donanım ortamlarında Day-0 itibarıyla SOTA desteğinin mümkün olmasını sağlamak için ekosistemi koordine etmeye devam edecek.

[GN⁺]

Hacker News görüşleri

• Mart ayında vLLM, DeepSeek makalesindeki iyileştirmeleri uyguladı ve vLLM v0.7.3'ün DeepSeek performansı yaklaşık 3 katın üzerinde arttı

  • Hâlâ iyileştirme için çok alan var
  • vLLM kullanılarak sharegpt veri setinde 5K token/sn, rastgele 2000/100 ile 12K token/sn benchmark yapıldı
  • DeepSeek-V3/R1 çıkarım sistemi genel bakışına göre her H800 düğümü, prefill sırasında ortalama 73.7k token/sn girdi (cache hit dahil) veya decoding sırasında 14.8k token/sn çıktı sağlıyor
  • DeepSeek farklı bir çıkarım mimarisi dağıtıyor, ancak bu durum iyileştirme için çok alan olduğunu gösteriyor
  • Daha fazla açık kaynak bekleniyor

• Kod tabanı ayrışma noktasına dair görüşe katılıyorum

  • DeepSeek modellerine uyacak şekilde özelleştirilmiş, vLLM'in erken bir fork'una dayanmak ölçeklendirmeyi zorlaştırıyor
  • Sürdürülebilir bir alt kütüphaneyi ayırıp bilgiyi doğrudan paylaşma yaklaşımı, toplulukla iş birliği yapmak için iyi bir yöntem
  • Engeller var ama katkı sunmamanın kolay yolunu seçmiyorlar
  • Teknoloji hakkında yalnızca bilgi paylaşmak daha iyi olabilir, ama bu yine de bilgi paylaşımı
  • Bunu yapmamaları daha kolay olurdu gibi görünüyor
  • Onlara övgülerimi gönderiyorum

• Ticari yapay zeka şirketlerinin araştırma sonuçlarını ve know-how'ı paylaşma motivasyonu

  • Google'ın Transformer mimarisini neden yayımladığı
  • İnsanlık için iyi bir şey yapmak ve ilerlemeyi teşvik etmek isteyebilirler
  • Şirket yönetiminin ticari çıkarlara aykırı görünen böyle bir adımı nasıl atabildiği merak konusu
  • Bilgi ve fikri mülkiyet paylaşımını teşvik eden ticari bir mantık olup olmadığı merak ediliyor

• "Açık kaynak topluluğu için ilginç bir şey var, ancak bunu şirket dışında çalıştırabilmek için çok fazla düzenleme gerekiyor ve yayımlandıktan sonra bunu düzgün şekilde sürdürecek personel yok"

  • Birçok şirket bu durumda
  • "Bunu biz sürdürmeyeceğiz ama istediğiniz gibi fork edebilirsiniz" notuyla açık kaynak yapılmasını isterdim

• DeepSeek'in iyi mühendislik çalışmaları görüldü

  • Umarım devam eder

• Bunun, Çin'in ABD hakimiyetine karşılık vermek için açık kaynak yapay zeka araçları, modelleri vb. büyük ölçekte piyasaya sürme stratejisi olup olmadığı merak ediliyor

  • Bunun pazar için iyi bir şey olduğu düşünülüyor

• tl;dr "vLLM fork'u sürdürülemez hâle geldi ve şimdi bunu kamuya açık şekilde yeniden inşa etmeyi planlıyorlar"

• Bunun sansürü uygulamanın bir yolu gibi hissettirdiği söyleniyor