vLLM Recipes yenilendi - model+donanım kombinasyonlarına tek tıkla ayar
(recipes.vllm.ai)recipes.vllm.ai kapsamlı biçimde yenilendi. vLLM ile "model X'i donanım Y üzerinde nasıl çalıştırırım?" sorusuna etkileşimli olarak yanıt alabilirsiniz.
Başlıca değişiklikler
HuggingFace ayna URL'si — huggingface.co alan adını recipes.vllm.ai ile değiştirince ilgili model tarifine doğrudan gidiliyor (ör.: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)
Etkileşimli komut oluşturucu — Donanım, varyant ve paralelleştirme stratejisi seçildiğinde doğrudan kullanılabilecek vllm serve komutu oluşturuluyor
Tak-çalıştır donanım — NVIDIA(Hopper/Blackwell)↔AMD(MI300X/MI355X) arasında tek tıkla geçiş, bayraklar ve ortam değişkenleri otomatik uygulanıyor
JSON API — Tüm tarifler /.json yolu üzerinden sunuluyor; böylece ajanlar ve otomasyon araçları tarafından doğrudan tüketilebiliyor
Ajan yeteneğiyle tariflere katkı verme
Depoya ajan yeteneği de dahil edildiği için yeni bir tarifi uçtan uca katkı olarak ekleyebilirsiniz. Benchmark çalıştırmadan tarif oluşturma ve PR gönderimine kadar ajan size rehberlik ediyor.
→ github.com/vllm-project/recipes
4 yorum
Biraz daha zaman geçerse, tek tıkla hangi cihaz olursa olsun dağıtım yapılabilecek gibi mi... vay canına
Görünüşe göre hizmete yönelik olanların hepsi artık ortaya çıkacak.
Görünüşe göre henüz olmayan çok sayıda model var.
Bu yüzden katkıda bulunmak için iyi bir fırsat gibi görünüyor.