Ağızla çıkarılan sesi ses efektine dönüştüren açık kaynak proje (Ses üretimi için yeni UX)
(github.com/thxxx)Merhaba, bir model geliştirip bunu açık kaynak olarak yayımladım; paylaşmak istedim.
Video ya da oyun yapmak için belirli bir sese ihtiyaç duyduğunuz oldu mu?
Aklınızda bunun tam olarak nasıl bir ses olduğu vardır, ama bunu nasıl ifade edip arayacağınızı bilememiş olabilirsiniz.
Bu yüzden oyun stüdyolarındaki sesle ilgili toplantılara girerseniz, konuşmadan çok buna benzer sesler duyarsınız.
“Füfü- yerine piyu↘︎piyu↘︎ olsa daha iyi olurdu”
Bu yüzden bunu yaptım!
Yaptığım modelde, istediğiniz sesi ağzınızla taklit edip bunu metinle birlikte modele girdi olarak verdiğinizde, o ses efektini üreten bir model ortaya çıkıyor. (Oldukça fazla zaman ve veri kullanıldı)
repo: https://github.com/thxxx/VTS
demo: https://spicy-pufferfish-699.notion.site/VTS-347cf95761f480f19dc0eb790…
(Demo bağlantısına girip dinlerseniz, ne demek istediğimi çok daha iyi anlayacaksınız.)
11 yorum
Gerçekten harika bir proje!
"İstediğim şeyi AI ajanına nasıl kolayca anlatabilirim?"
Bence bu, bugünlerde gerçekten önemli bir nokta ve üzerinde çok düşünülmesi gereken bir alan.
Nasıl ki IT hizmetlerinde UI/UX alanının gelişimini izlediysek, yapay zeka için kullanıcı deneyimi de artık birikerek ilerleyecek; neyin etkili ve önemli olduğu konusunda çok fazla konuşulacağını düşünüyorum ve bunu heyecanla bekliyorum.
Film SFX çalışmalarında kullanmak için iyi görünüyor
Ama demoda ağızla yapılanı efekt sesi olarak daha havalı duruyor.
Çok test ede ede ustalaştım.
Bu gerçekten çok eğlenceli haha
Teşekkürler haha
İlginçmiş, acaba giriş olarak insan sesi dışında biraz Pokémon? R2D2? gibi sesler de mümkün olur mu?
Evet, eğitim doğrudan sesle yapılmadığı için tüm Sound to Sound türlerinin mümkün olabileceğini düşünüyorum. Yine de Pokémon sesiyle test etmişliğim yok haha
O zaman LLM, formül benzeri şeyler üretip vurguyu/şiddeti ayarlayan elektronik sesler oluşturur, sonra bunu metinle birlikte girdi olarak verip ses efekti çıktısı alırsak, duruma göre uygun ses efektleri de üretilebilir gibi geliyor. Çok havalıymış.
Bu çok eğlenceliymiş haha
Teşekkürler hahaha