vLLM Compose - Docker Compose profilleriyle birden fazla vLLM modelini kolayca değiştirme/servis etme

Birden fazla LLM’i yerelde servis ederken yaşanan zahmetleri (her model için docker komutunu yeniden girmek, GPU ayarlarını hatırlamak, durumu izlemek) çözmek için geliştirilmiş, vLLM’e özel bir TUI yönetim aracıdır.

• Model bazlı ayarları YAML profilleri olarak kaydeder; TUI’de Enter’a bir kez basarak başlatma/durdurma sağlar
• Quick Setup: Yalnızca model adını girerek profil ve ayarları otomatik oluşturur
• Gerçek zamanlı GPU izleme panosu ve önceden bellek kullanımı tahmin özelliği içerir (hf-mem)
• vLLM argümanları için otomatik tamamlama: Gerçek vLLM imajından kullanılabilir argüman listesini otomatik çıkarır ve Tab tuşuyla otomatik tamamlama sunar
• MIT lisansı; Python 3.10+ / Docker / NVIDIA GPU ortamı gerektirir

https://bae-changhyun.github.io/vllm-compose/