RouteLLM - LLM yönlendirici sunumu ve değerlendirmesi için çerçeve

• RouteLLM, LMSys ve Anyscale iş birliğiyle geliştirilen, LLM yönlendirici serving ve değerlendirmesi için bir çerçevedir
• Temel özellikler:
  • OpenAI istemcisinin yerine geçerek basit sorguları daha ucuz modellere yönlendirme
  • Eğitilmiş yönlendiriciler sunma, yeni yönlendiricilerle genişletme ve benchmark'larda yönlendirici performansını karşılaştırma vb.

Model desteği

• GPT-4 ve Mixtral 8x7B'nin yanı sıra strong-model ve weak-model argümanları değiştirilerek çeşitli model kombinasyonları kullanılabilir
• LiteLLM kullanılarak çeşitli açık kaynak ve kapalı modellerde chat completions desteği sunulur
• OpenAI uyumlu endpoint'ler de kullanılabilir
• Farklı model sağlayıcıları için API anahtarlarının nasıl ayarlanacağı açıklanır

Geliştirme motivasyonu

• Maliyet ve yetenekleri farklı LLM'leri dağıtırken, yüksek kaliteli yanıtlar için en güçlü modeli kullanmak pahalı olabilir; ucuz modelleri kullanmak ise kaliteyi düşürebilir
• LLM yönlendirme, basit sorguları daha ucuz modellere göndererek kaliteyi korurken maliyeti azaltan bir çözüm sunar
• Her isteğin, maliyet-kalite dengesini belirleyen bir cost threshold değeri vardır

Sunucu

• RouteLLM, çeşitli yönlendirme stratejilerine göre istekleri yönlendirmek için hafif bir OpenAI uyumlu sunucu sağlar
• --routers ile kullanılabilir yönlendiricilerin listesi, --config ile yönlendirici yapılandırma dosyasının yolu belirtilir
• Çoğu durumda güçlü ve hafif mf yönlendiricisinin kullanılması önerilir
• İstemci, model alanında yönlendirici adı ve threshold belirterek istek gönderir

Threshold kalibrasyonu

• Yönlendirmede kullanılan threshold, maliyet-kalite dengesini kontrol eder
• Anlamlı threshold aralığı yönlendirici türüne ve alınan sorgulara göre değiştiğinden, örnek sorgular ve güçlü modele gönderilecek sorgu oranı kullanılarak kalibrasyon yapılması önerilir
• Varsayılan olarak Chatbot Arena veri kümesine dayalı threshold kalibrasyonu desteklenir
• Gerçekte alınan sorgu türlerine benzer bir veri kümesiyle kalibrasyon yapılması önerilir

Değerlendirme

• RouteLLM, benchmark'larda çeşitli yönlendirme stratejilerinin performansını ölçmek için bir değerlendirme çerçevesi de içerir
• --routers ile değerlendirilecek yönlendirici listesi, --benchmark ile değerlendirilecek belirli benchmark belirtilir
• Değerlendirme sonuçları konsola yazdırılır ve ayrıca yönlendirici performans grafikleri oluşturulur
• Varsayılan olarak değerlendirmede kullanılan model çifti GPT-4 ve Mixtral'dır; --strong-model ve --weak-model bayraklarıyla değiştirilebilir

Yönlendiriciler

• RouteLLM, gpt-4-1106-preview ve mixtral-8x7b-instruct-v0.1 model çifti için eğitilmiş 4 yönlendirici sunar
• Yönlendirici listesi: mf, sw_ranking, bert, causal_llm, random
• Bu yönlendiriciler başka güçlü/zayıf model çiftlerine de iyi genellenir; bu nedenle model çifti değiştirilse bile yeniden eğitim gerekmez

GN⁺ görüşü

• RouteLLM, farklı LLM'leri verimli kullanmayı sağlayan faydalı bir çerçeve gibi görünüyor. Özellikle basit sorguları daha ucuz modellere yönlendirerek kaliteyi korurken maliyeti azaltabilmesi dikkat çekici
• Sunulan yönlendiricilerin çeşitli model çiftlerine iyi genellenmesi de olumlu. Kullanıcının yönlendiricileri kendisinin eğitmek zorunda olmaması bir avantaj
• Threshold kalibrasyonu özelliği de faydalı görünüyor. Kullanıcının gerçek sorgu verilerini kullanarak en uygun threshold bulunabilir
• Değerlendirme çerçevesi sayesinde farklı yönlendiricilerin ve benchmark'ların performansı kolayca karşılaştırılabilir
• Ancak çerçeveyi kullanmak için güçlü ve zayıf modellere ait API anahtarlarının ayarlanması gibi ön hazırlıklar gerekiyor. Bu da yeni başlayanlar için belirli bir giriş eşiği oluşturabilir
• Benzer işlevler sunan başka bir proje olarak Multi-model adlı açık kaynak proje bulunuyor. Birden çok dil modelini tek bir API altında birleştirme ve yönlendirme işlevleri sunuyor