19 puan yazan darjeeling 7 일 전 | 4 yorum | WhatsApp'ta paylaş

recipes.vllm.ai kapsamlı biçimde yenilendi. vLLM ile "model X'i donanım Y üzerinde nasıl çalıştırırım?" sorusuna etkileşimli olarak yanıt alabilirsiniz.

Başlıca değişiklikler

HuggingFace ayna URL'sihuggingface.co alan adını recipes.vllm.ai ile değiştirince ilgili model tarifine doğrudan gidiliyor (ör.: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)

Etkileşimli komut oluşturucu — Donanım, varyant ve paralelleştirme stratejisi seçildiğinde doğrudan kullanılabilecek vllm serve komutu oluşturuluyor

Tak-çalıştır donanım — NVIDIA(Hopper/Blackwell)↔AMD(MI300X/MI355X) arasında tek tıkla geçiş, bayraklar ve ortam değişkenleri otomatik uygulanıyor

JSON API — Tüm tarifler /.json yolu üzerinden sunuluyor; böylece ajanlar ve otomasyon araçları tarafından doğrudan tüketilebiliyor

Ajan yeteneğiyle tariflere katkı verme

Depoya ajan yeteneği de dahil edildiği için yeni bir tarifi uçtan uca katkı olarak ekleyebilirsiniz. Benchmark çalıştırmadan tarif oluşturma ve PR gönderimine kadar ajan size rehberlik ediyor.

→ github.com/vllm-project/recipes

4 yorum

 
hmmhmmhm 6 일 전

Biraz daha zaman geçerse, tek tıkla hangi cihaz olursa olsun dağıtım yapılabilecek gibi mi... vay canına

 
darjeeling 6 일 전

Görünüşe göre hizmete yönelik olanların hepsi artık ortaya çıkacak.

 
arthurk 7 일 전

Görünüşe göre henüz olmayan çok sayıda model var.

 
darjeeling 7 일 전

Bu yüzden katkıda bulunmak için iyi bir fırsat gibi görünüyor.