Arch - Akıllı Prompt Ağ Geçidi

• LLM uygulamalarını (ajanlar, asistanlar, copilot'lar) korumak, gözlemlemek ve kişiselleştirmek için kullanılan akıllı bir 7. katman ağ geçidi olarak kullanıcıların API'leriyle entegre olur ve LLM'leri optimize eder
• Prompt işleme ile ilgili kritik görevleri yönetir ve Jailbreak girişimlerini tespit edip engeller
• İstekleri işlemek için prompt'a göre arka uç API'lerini çağırır
• Yukarı akış LLM'ler arasında akıllı yönlendirme ve felaket kurtarma sağlar
• Prompt'ları ve LLM etkileşimlerini merkezi olarak gözlemler ve yönetir

Temel özellikler

• Envoy tabanlı: Envoy Proxy üzerinde inşa edilmiştir; HTTP isteklerinde olduğu gibi prompt giriş ve çıkış trafiğini yönetir ve ölçeklenebilir LLM işleme yetenekleri sunar.
• Function Calling: API çağrıları veya prompt'lardan parametre çıkarma gibi hızlı ve maliyet etkin işleri gerçekleştirmek üzere tasarlanmış LLM'ler aracılığıyla ajan uygulamalarını ve RAG uygulamalarını destekler.
• Prompt Guard: Ek kodlama gerektirmeden Jailbreak girişimlerini önleyen ve güvenli kullanıcı etkileşimlerini garanti eden prompt güvenlik önlemlerini merkezi olarak yönetir.
• Trafik yönetimi: LLM çağrılarını akıllıca yeniden dener ve bağlantıları otomatik olarak değiştirerek yukarı akış bağlantılarının kesintisiz kullanılabilirliğini sağlar.
• Standart tabanlı gözlemlenebilirlik: W3C Trace Context standardını kullanarak uygulamalar arasında uçtan uca istek takibini mümkün kılar; gecikme süresi, token kullanımı ve hata oranı gibi metriklerle yapay zeka uygulamalarının performansını optimize etmeyi destekler.