DeepEval - LLM'ler için birim testi
(github.com/mr-gpt)- Temel felsefesi "Pytest for LLM"
- Prodüksiyona geçiş için, LLM pipeline'ları üzerinde çevrimdışı değerlendirme çalıştırmaya yönelik Pythonvari bir yöntem sunuyor
- Python birim testleri yazar gibi LLM uygulamaları (RAG gibi) için testler yazmayı mümkün kılıyor
assert_llm_outputaracılığıyla yanıtları entailment / exact / bertscore gibi metriklerle değerlendiriyor- Özel metrikler tanımlamak ve mevcut metrikleri değiştirmek de mümkün
Henüz yorum yok.