oh-my-free-models - Kodlama ajanlarını ücretsiz LLM’ler arasında şu anda en hızlı modele yönlendiren yerel proxy

 (github.com/hakilee)
18 puan yazan happyhaki 19 일 전 | 2 yorum | WhatsApp'ta paylaş

oh-my-free-models (omfm), kodlama ajanlarını birden fazla ücretsiz sağlayıcı arasından o anda en hızlı modele yönlendiren yerel bir proxy’dir. OpenAI veya Anthropic uyumlu ajanların baseURL değerini localhost olarak değiştirip birkaç ücretsiz model seçtiğinizde, latency·rate-limit·quota dalgalansa bile omfm istekleri akıtmaya devam eder.

Neden gerekli?

Ücretsiz katmandaki kodlama ajanları özellik tablolarında düzgün görünür, ancak pratikte çalıştırdığınızda dört noktada tıkanırlar.

  • Rate limit işin ortasında keser. OpenRouter veya NVIDIA’nın ücretsiz modelleri, önceden uyarı vermeden 429 döndürür. Sorunsuz giden bir çalıştırma tek bir araç çağrısında durur ve insanın elle yeniden denemesi gerekir.

  • Latency günün saatine göre dalgalanır. Aynı ücretsiz model sabah hızlıyken öğleden sonra kullanılamayacak kadar yavaşlayabilir. Bu durum zamana ve bölgeye göre değiştiği için, “hızlı model”i önceden sabitleyemezsiniz. Yalnızca “tam şu anda hızlı olan model” vardır.

  • Quota bittiğinde sağlayıcıyı elle değiştirmek gerekir. Bir sağlayıcının ücretsiz kotası tükenince anahtarı ve baseURL’yi doğrudan değiştirmeniz gerekir. Ajan yapılandırması bu değişimi kendiliğinden takip etmez.

  • Ücretsiz katalog sık sık değişir. Yeni modeller eklenir, bazıları kaldırılır, bazılarına deprecated etiketi gelir ve bazıları sessizce hata üretmeye başlar. Bunu panel haber vermez; ancak duvara toslayınca anlarsınız.

Başlıca özellikler

  • Seçilen ücretsiz model havuzu içinde mevcut latency’si en düşük olan canlı modele istek yönlendirme
  • 429/402 gibi rate limit·quota hatası veren modelleri yaklaşık 10 dakika cooldown durumuna alma
  • OpenAI uyumlu /v1, Anthropic uyumlu /anthropic endpoint’leri sunma
  • OpenClaw, Hermes Agent, OpenCode gibi OpenAI-compatible istemcilerde url=http://localhost:4567/v1, model=omfm biçiminde kullanım
  • Claude Code’da Anthropic base URL’ini http://localhost:4567/anthropic olarak değiştirerek kullanım
  • omfm/fast, omfm/balanced, omfm/capable gruplarıyla kullanım amacına göre model havuzlarını ayırabilme
  • omfm model, omfm start, omfm status, omfm doctor, omfm usage gibi CLI’ler sunma

Özellikle OpenClaw veya Hermes Agent gibi OpenAI-compatible endpoint alan yerel/CLI kodlama ajanlarında kullanışlıdır. Ajan ayarlarını olduğu gibi bırakıp yalnızca base URL ve model değerini omfm olarak değiştirmeniz yeterlidir; arka planda ücretsiz modellerin latency ölçümü, başarısız modellerin dışlanması ve sağlayıcı geçişi otomatik olarak yapılır.

İlgili okumalar

2 yorum

 
channprj 14 일 전

İlginç bir proje. 9router aklıma kısa süreliğine geldi ama bunun free models tarafına biraz daha odaklı olması ilgimi çekti. Güzel ürün için teşekkürler.

https://9router.com
 
happyhaki 14 일 전

Aa, böyle bir şey de varmış. Paylaşım için teşekkürler. Ben LiteLLM'i düşünmüştüm ama omfm'e ücretli sağlayıcıları eklediğiniz anda artık pek bir fark kalmıyor gibi geliyor; bu yüzden sadece ücretsiz modelleri korumaya çalışıyorum.