- Ollama artık Llama 3.1 gibi modellerde tool çağırmayı destekliyor
- Bu sayede model, bildiği tool'ları kullanarak verilen prompt'a yanıt verebilir; böylece daha karmaşık görevleri yerine getirebilir veya dış dünyayla etkileşime girebilir
- Tool'lar: fonksiyonlar ve API'ler, web'de gezinme, kod yorumlayıcı
- Tool çağırmayı etkinleştirmek için Ollama API'nin
tools alanı üzerinden kullanılabilir tool listesinin sağlanması gerekiyor;
desteklenen modeller artık tool_calls yanıtıyla cevap veriyor. Tool yanıtları, tool rolündeki mesajlar aracılığıyla iletilebiliyor
- Desteklenen modeller: Llama 3.1, Mistral Nemo, Firefunction v2, Command-R +
- Ollama'nın OpenAI uyumlu endpoint'i de artık tool'ları destekliyor ve Llama 3.1 ile diğer modellere geçiş yapılarak kullanılabiliyor
- Gelecekteki iyileştirmeler
- Streaming tool çağırma: Birden fazla tool döndüğünde işe daha hızlı başlanabilmesi için tool çağırma streaming desteği
- Tool seçimi: Modelin belirli bir tool'u kullanmaya zorlanabilmesi
1 yorum
https://tr.news.hada.io/topic?id=13436
phidata ile benzer bir özellik sanırım? Bu tarafta docstring iyi tanımlandığında yeterli oluyordu, ama GPT değilse tool kullanamıyordu.