Speakz - 7 yaşındaki çocuğuyla birlikte yabancı dil videolar izlemek için yapılan yapay zeka dublaj aracı

Speakz: Çok dilli medya çeviri hizmeti

• Tek bir dildeki videoyu başka bir dile çevirerek yeni bir ses parçası oluşturur
• Orijinal ses, diğer sesler veya arka plan müziği korunurken; anlam, karakter ve zamanlamayı uyumlu biçimde eşleştirerek doğal ve özgün çeviriler sunar
• Geliştirici, kendisi Alman olduğu ve 7 yaşındaki kızının YouTube içeriklerini Almanca izleyebilmesi için bu aracı geliştirdi

Desteklenen diller ve çeviri hızı

• Çıkış dilleri: İngilizce, Çince, İspanyolca, Arapça, Fransızca, Rusça, Almanca, İtalyanca, Korece, Lehçe ve Felemenkçeyi destekler
• Giriş dilleri: Buna ek olarak Hintçe, Bengalce, Portekizce gibi çeşitli dilleri destekler
• 30 dakikalık bir videonun çevrilmesi yaklaşık 1 saat sürer ve gerçek zamanlı çeviri ile streaming yönünde gelişme potansiyeli vardır

İçerik üreticileri ve genel kullanıcılar için kullanım alanları

• İçerik üreticileri, Speakz'i kullanarak mevcut içerikleriyle daha geniş bir kitleye ulaşabilir
• YouTube, videolara birden fazla ses parçası eklemeyi desteklediğinden Speakz üzerinden farklı dillerde ses parçaları otomatik olarak eklenebilir
• Genel kullanıcılar da özel betaya katılarak istedikleri videoları çevirebilir

Ücretlendirme ve private beta'ya katılım

• Fiyatlandırma henüz netleşmemiş olsa da dil başına saatlik yaklaşık 5 dolar olması bekleniyor
• Aynı videonun birden fazla dile çevrilmesi veya içerik üreticileri için toplu indirimler söz konusu olabilir
• Private beta'ya katılmak isteyen kullanıcılar web sitesi üzerinden başvuru yapabilir

GN⁺ görüşü

• Speakz, hem çok dilli içerik tüketmek isteyen kullanıcılar hem de küresel pazarı hedefleyen içerik üreticileri için faydalı bir araçtır
• Gerçek zamanlı çeviri özelliği, canlı yayınlar veya gerçek zamanlı etkinliklerde dil bariyerlerini kaldırma potansiyeline sahiptir
• Benzer işlevler sunan diğer hizmetler arasında Google'ın otomatik altyazı özelliği veya Amara gibi topluluk tabanlı çeviri platformları bulunur
• Speakz'i kullanıma alırken çeviri doğruluğu ve kültürel nüanslar dikkate alınmalıdır
• Bu teknolojinin sunduğu en büyük avantaj, dil engeli olmadan içeriğe erişimdir; ancak maliyet ve çeviri kalitesi de göz önünde bulundurulmalıdır

[GN⁺]

Hacker News görüşleri

• Almanya'da videoların çoğu dublajlı izleniyor, ancak 7 yaşındaki bir çocuk da altyazı okuyabilir ve bunun İngilizce öğrenmek için iyi bir yöntem olduğu görüşü dile getiriliyor. İsveç'te çocukların çoğunun okula başlamadan önce İngilizceyi bu şekilde öğrendiği söyleniyor. Ayrıca, dublajın yaygın olduğu ülkelerde ortalama İngilizce yeterliliğinin daha düşük olma eğiliminde olduğuna dair güçlü bir korelasyon olduğu iddia ediliyor.
  • Sitedeki örnek etkileyici bulunmuş ve konuşmacı ayrımı ile ses klonlamanın nasıl yapıldığı soruluyor. Konuşma tanıma ve zaman ipuçları kullanılarak cümle bazında bölme yapıldığı, çeviri motorunun birden fazla çeviri seçeneği sunduğu, orijinal sesin dilden bağımsız olarak klonlandığı ve zamanlamaya en iyi uyan çevirinin seçildiği tahmin ediliyor.
• Çıkış dili seçeneği olarak basit İngilizcenin eklenmesi isteniyor. Bunun, dil karmaşıklığını çocukların seviyesine uyarlamaya ve zamanla desteği kademeli olarak azaltmaya yardımcı olabileceği belirtiliyor.
• Rusça konuşan bir kullanıcı, Lex örneğindeki dublajın gerçeğe çok yakın olduğunu övüyor. Profesyonel dublaj seviyesinde olmasa da çok iyi olduğu, ayrıca Lex ve Elon'un seslerine de oldukça benzediği söyleniyor.
• Otomatik altyazı üretim çözümleri geliştirmiş bir kullanıcı, otomatik dublaj projesini övüyor. Otomatik dublajın, izleyici için rahat bir sonuç elde etmek adına manuel ayar gerektirdiğini ve kendilerinin, kurgu yazılımına geri dönmeden dublajı ince ayar yapmayı sağlayan gelişmiş bir düzenleyici sunmaya odaklandıklarını anlatıyor.
• Projeye hayranlık ifade edilirken, videolar için tek tek ödeme yapmaya istekli olunduğu söyleniyor. Sayfayla ilgili geri bildirim olarak, videonun sürekli oynadığı ve bu yüzden aynı bölümü farklı dillerde karşılaştırmanın zor olduğu belirtiliyor. Ayrıca çeviri hataları ve zamanlama sorunları olduğu, kimi durumlarda orijinal sesin bazı kısımlarının çevrilmeden kaldığı da ekleniyor.
• Hollandaca dublajın yalnızca çocuk TV'sinde deneyimlendiği, ancak Hollandaca modelin geliştirilmesi gerektiği söyleniyor. Özellikle Tayvan belgeselinin dublajının anlaşılmasının zor olduğu belirtiliyor. Hollandacanın neden dahil edildiği sorgulanıyor; çünkü Hollandaca konuşanların çoğunun İngilizce anladığı ifade ediliyor.
• Yunanistan gibi film ve TV programlarının dublajlanmadığı birçok ülkede, görme engeli olan ya da yaşa bağlı görme sorunları yaşayan kişilerin İngilizce bilmiyorlarsa yalnızca yerel yapım film ve programları izleyebildiği sorunu vurgulanıyor. Bunun, bu tür bir sorunu çözebilecek bir proje olduğu değerlendiriliyor.
• Ses zamanlaması yönteminin akıllıca olduğu övülüyor ve hangi modellerin kullanıldığı soruluyor.
• Almanca içerik izlerken İngilizce altyazıların yapay zeka tarafından mı üretildiğini merak ettiğini söyleyen bir görüş var. Bazen altyazıların Almancadan daha da kafa karıştırıcı göründüğü ve bağlam ipuçlarını kullanan gerçek çevirmenlerden ziyade otomatik üretilmiş gibi durduğu ifade ediliyor.