- RouteLLM, LMSys ve Anyscale iş birliğiyle geliştirilen, LLM yönlendirici serving ve değerlendirmesi için bir çerçevedir
- Temel özellikler:
- OpenAI istemcisinin yerine geçerek basit sorguları daha ucuz modellere yönlendirme
- Eğitilmiş yönlendiriciler sunma, yeni yönlendiricilerle genişletme ve benchmark'larda yönlendirici performansını karşılaştırma vb.
Model desteği
- GPT-4 ve Mixtral 8x7B'nin yanı sıra
strong-model ve weak-model argümanları değiştirilerek çeşitli model kombinasyonları kullanılabilir
- LiteLLM kullanılarak çeşitli açık kaynak ve kapalı modellerde chat completions desteği sunulur
- OpenAI uyumlu endpoint'ler de kullanılabilir
- Farklı model sağlayıcıları için API anahtarlarının nasıl ayarlanacağı açıklanır
Geliştirme motivasyonu
- Maliyet ve yetenekleri farklı LLM'leri dağıtırken, yüksek kaliteli yanıtlar için en güçlü modeli kullanmak pahalı olabilir; ucuz modelleri kullanmak ise kaliteyi düşürebilir
- LLM yönlendirme, basit sorguları daha ucuz modellere göndererek kaliteyi korurken maliyeti azaltan bir çözüm sunar
- Her isteğin, maliyet-kalite dengesini belirleyen bir cost threshold değeri vardır
Sunucu
- RouteLLM, çeşitli yönlendirme stratejilerine göre istekleri yönlendirmek için hafif bir OpenAI uyumlu sunucu sağlar
--routers ile kullanılabilir yönlendiricilerin listesi, --config ile yönlendirici yapılandırma dosyasının yolu belirtilir- Çoğu durumda güçlü ve hafif
mf yönlendiricisinin kullanılması önerilir
- İstemci,
model alanında yönlendirici adı ve threshold belirterek istek gönderir
Threshold kalibrasyonu
- Yönlendirmede kullanılan threshold, maliyet-kalite dengesini kontrol eder
- Anlamlı threshold aralığı yönlendirici türüne ve alınan sorgulara göre değiştiğinden, örnek sorgular ve güçlü modele gönderilecek sorgu oranı kullanılarak kalibrasyon yapılması önerilir
- Varsayılan olarak Chatbot Arena veri kümesine dayalı threshold kalibrasyonu desteklenir
- Gerçekte alınan sorgu türlerine benzer bir veri kümesiyle kalibrasyon yapılması önerilir
Değerlendirme
- RouteLLM, benchmark'larda çeşitli yönlendirme stratejilerinin performansını ölçmek için bir değerlendirme çerçevesi de içerir
--routers ile değerlendirilecek yönlendirici listesi, --benchmark ile değerlendirilecek belirli benchmark belirtilir- Değerlendirme sonuçları konsola yazdırılır ve ayrıca yönlendirici performans grafikleri oluşturulur
- Varsayılan olarak değerlendirmede kullanılan model çifti GPT-4 ve Mixtral'dır;
--strong-model ve --weak-model bayraklarıyla değiştirilebilir
Yönlendiriciler
- RouteLLM,
gpt-4-1106-preview ve mixtral-8x7b-instruct-v0.1 model çifti için eğitilmiş 4 yönlendirici sunar
- Yönlendirici listesi:
mf, sw_ranking, bert, causal_llm, random
- Bu yönlendiriciler başka güçlü/zayıf model çiftlerine de iyi genellenir; bu nedenle model çifti değiştirilse bile yeniden eğitim gerekmez
GN⁺ görüşü
- RouteLLM, farklı LLM'leri verimli kullanmayı sağlayan faydalı bir çerçeve gibi görünüyor. Özellikle basit sorguları daha ucuz modellere yönlendirerek kaliteyi korurken maliyeti azaltabilmesi dikkat çekici
- Sunulan yönlendiricilerin çeşitli model çiftlerine iyi genellenmesi de olumlu. Kullanıcının yönlendiricileri kendisinin eğitmek zorunda olmaması bir avantaj
- Threshold kalibrasyonu özelliği de faydalı görünüyor. Kullanıcının gerçek sorgu verilerini kullanarak en uygun threshold bulunabilir
- Değerlendirme çerçevesi sayesinde farklı yönlendiricilerin ve benchmark'ların performansı kolayca karşılaştırılabilir
- Ancak çerçeveyi kullanmak için güçlü ve zayıf modellere ait API anahtarlarının ayarlanması gibi ön hazırlıklar gerekiyor. Bu da yeni başlayanlar için belirli bir giriş eşiği oluşturabilir
- Benzer işlevler sunan başka bir proje olarak Multi-model adlı açık kaynak proje bulunuyor. Birden çok dil modelini tek bir API altında birleştirme ve yönlendirme işlevleri sunuyor
Henüz yorum yok.