Vibe coding ile yapılmış Honcho için Codex + yerel embedding ağ geçidi

(Bu proje, Vibe coding kullanılarak geliştirilmiş bir projedir.)

Merhaba! Ben normalde GeekNews'i keyifle takip eden eczacılık alanında bir yüksek lisans öğrencisiyim.

Burada Hermes Agent'ı öğrenip araştırmalarımda faydalı şekilde kullanıyordum; sonra Honcho adlı bir bellek adaptörünü de ek olarak kullanabileceğimi fark ettim.
Ama biraz inceleyince bunun Codex abonelik kotasını kullanmak yerine ayrı token tabanlı API istekleri gönderen bir yapıyla çalıştığını gördüm, bu yüzden ek ücretlendirme konusunda endişelendim. Bir şekilde düşünmeden kullanırsam zaten çok az olan lisansüstü öğrenci maaşımın tamamını kaybedecekmişim gibi hissettim.

Bu yüzden, Hermes Agent'ta ChatGPT aboneliğiyle gelen Codex kotasının sanki token tabanlı istekmiş gibi kullanılmasından yola çıkarak,
Codex aboneliğiyle Honcho backend'ini değiştiren bir tür adaptör geliştirdim.

Çalışma şekli şöyle:

1. Honcho'nun çalışma biçimine baktığımda, varsayılan ayarlarda bellek önemini değerlendirmek için OpenAI GPT 5.4 mini'ye istek gönderiliyor, arama için embedding de yine OpenAI embedding modeliyle yapılıyordu.
2. Bu yüzden Hermes Agent'ın Codex OAuth kodunu kullanarak çıktının OpenAI endpoint yanıtı gibi görünmesini sağladım; embedding tarafını da yerelde llama.cpp üzerinden BGE-M3 fp16.gguf kullanacak şekilde değiştirdim.
3. Embedding boyutu varsayılan olarak 1536 idi, ancak herkese açık 1536 boyutlu model az olduğu için 1024 boyutlu model olan BGE-M3'ü kullandım.
4. Honcho ayarlarında yerel sunucu desteği olduğu için önce honcho-codex-gateway Docker stack'ini kurup, ardından Honcho'nun asıl Docker stack'inin burada çalışan sunucuya bağlanmasını sağladım.
5. Ayrıca Honcho'daki tokenleştirme yöntemi BGE'den farklı olduğu için uzunluk sorunu ortaya çıkıyordu; bu nedenle tokenleştirmeyi bge-m3 tarafında yapıp chunking'in buna göre çalışmasını sağladım.

Kod yazma konusunda kendime çok güvenmediğim için, Hermes Agent'ta backend olarak Codex aboneliğine dayalı GPT 5.5 ve düşük çıkarım çabası ayarını kullandım.
Hobi amaçlı satın aldığım GB10 serisi MSI EdgeXpert 1TB modelinde (ARM Ubuntu) bunun düzgün çalıştığını doğruladım.
Windows/Mac gibi diğer işletim sistemlerinde çalışıp çalışmadığını ise doğrulayamadım.

İlk hedefim yaklaşık 100 kişinin git clone yapması olursa bunu GeekNews'te de paylaşmanın iyi olacağını düşünmekti; 13 gün içinde bu ölçüt karşılanınca, sık ziyaret ettiğim bu yerde değerlendirme almak için paylaşmak istedim.

Uzun yazıyı okuduğunuz için teşekkür ederim!