tts-bench - Yerelde TTS modellerini karşılaştırmak için benchmark
(github.com/5uck1ess)- 55 yerel TTS modelini, hangi donanım olursa olsun, üç açıdan karşılaştıran açık kaynaklı bir benchmark
- Speed(Hız)/Listen(Dinleme)/Scores(Nesnel ölçümler) olmak üzere üç mercekten oluşur; CPU/CUDA/Apple Silicon üzerinde ölçüm yapar
- Speed, cold/warm TTFA(ilk sese kadar geçen süre), RTF(gerçek zamana göre hız katsayısı) ve bellek kullanımını ölçer
- Listen, tüm model ve prompt'ları varsayılan ses + klonlama ile satır içinde oynatır; böylece modeli doğrudan kulakla seçebilirsiniz
- Scores, UTMOS(doğallık), WER(anlaşılırlık) ve SIM(klonlama sadakati) değerlerini seed-tts-eval yöntemiyle puanlar
- Kurulum yapmadan tüm modelleri dinleyebileceğiniz bir Demos sitesi sunar; prompt bazında / model bazında gezinebilirsiniz
- 55 modelden 41'i referans kliple ses klonlama (voice cloning) destekler; 3 tür referans biçimi desteklenir (
wavtek başına /wav+ transkript / HF gatedwav) - Korece, 55 modelin tamamı tarafından desteklenmese de Supertonic, VoxCPM, OmniVoice gibi çok dilli/Korece destekli modeller dahildir
- Ancak varsayılan benchmark prompt'ları İngilizce/Fransızca ağırlıklıdır; bu yüzden Korece kalitesini görmek için Listen/compare'ı ayrı Korece cümlelerle çalıştırıp kulakla doğrulamak daha iyidir
- Test sonuçlarına göre yukarıdaki Supertonic, VoxCPM, OmniVoice dinlenebilir bir kalite gösteriyor
- Klonlama A/B oylamasında üst sıralar — OmniVoice(en iyi ses tonu eşleşmesi, ancak kelime ezilmesi/atlaması olabilir), Echo-TTS(ortak 1.'lik düzeyi, 44.1kHz), IndexTTS-2(3.'lük, tonlamayı koruyor)
- Benchmark kodu MIT lisanslıdır, her TTS modeli ise kendi ayrı lisansına tabidir
Henüz yorum yok.