Videolarda Google araması
(dev.ctrlx.video)Merhaba
Ben, Flick adlı egzersiz kayıt uygulamasını geliştirip işletmiş bir geliştiriciyim.
Şu anda ise LLM, Multimodal, Langchain; özellikle de LLM agent'ları ile videonun kesişim noktasını bulmaya büyük ilgi duyuyorum.
Tanıtmak istediğim proje, yüklenen videoların içinde istenen sahneyi veya video klibi metin ya da görselle arayabileceğiniz bir arama motoru.
Şu anda videoların çoğu insanlar tarafından işleniyor; ancak videoyu işleyebilen bir API olsaydı, bir AI agent videoyu doğrudan düzenleyebilir veya ondan kesitler çıkarabilir miydi? düşüncesiyle bu projeye başladım.
Denemek için kullanabilmeniz adına Playground'a rastgele YouTube videoları yükledim.
Kullanıma dair geri bildirim paylaşırsanız çok memnun olurum.
P.S. Kendi videonuzu doğrudan yüklemek isterseniz ya da API biçiminde sonuçlara ihtiyaç duyarsanız, istediğiniz zaman benimle iletişime geçebilirsiniz.
3 yorum
Eskiden ev videolarını yöneten programlar arasında,
videodan çeşitli sahneler çıkarıp bunları geleneksel(?) CNN ile sınıflandırarak aramayı mümkün kılan birkaç program vardı ama...
Bu ise o tür yöntemlerle kıyaslanamayacak kadar iyi çalışıyor gibi görünüyor.
Birkaç kez arattığımda, sonuçların yaklaşık %70~80 kadarı gerçekten aradığım sahneler gibi görünüyor.
Örneğin "Bir şeyin patladığı bir sahne" diye aratınca, çoğunlukla Spider-Man filmlerindeki bir şeylerin parladığı sahneleri iyi buldu.
Elbette sahnenin hızlı değiştiği şeyleri de patlama diye buluyor ama... yine de çok etkileyici.
Netflix logosu olan bir görsel yükleyince, Netflix dahil herhangi bir şirket logosu görünen her şeyi de buluyor.
(Yine de Koreceyi desteklememesi biraz üzücü.)
Bu özellik görsellerde de iyi çalışacakmış gibi duruyor; böyle olursa kişilerin videolar da dahil tüm albümlerini yapay zeka ile arayabileceği günün de çok uzak olmadığını düşünüyorum.
Ya da canlı yayınları ya da çok uzun videoları düzenlerken videonun tamamını izlemeye gerek kalmadan yapay zeka aracılığıyla öne çıkan anları veya tam ihtiyaç duyulan bölümleri bulup almak mümkün olabilir...
Kurumsal taraftan bakınca, YouTube'a doğal dil + sahne ile arama özelliği de gelebilir gibi görünüyor.
Her neyse, bu harika projeyi paylaştığınız için teşekkürler.
Şu anda geliştirdiğiniz yönelimden biraz farklı gibi görünüyor ama bir gün böyle bir projenin açık kaynak olarak yayımlanıp self-host yapılabilmesi güzel olurdu.
Merhaba kuroneko, projeyle eğlenceli bir şekilde ilgilenmiş olmanızdan dolayı teşekkür ederim.
'İnsanların videolar da dahil kendi tüm albümlerinde yapay zeka ile arama yapabildiği gün'
-> Albümü karıştırıp fotoğraf aradığım halim hemen gözümün önüne geldi...
'Çok uzun bir videoyu düzenleyip, yapay zeka aracılığıyla öne çıkan ya da gerekli kısımları bulup almak'
-> Evet, doğru. Yapay zeka kullanarak video üretiminde marjinal maliyeti düşürmeye ilgi duyuyorum.
Bu kadar ayrıntılı kullanım deneyiminizi böyle ilettiğiniz için tekrar çok teşekkür ederim.
Dikkatle okuyup projeye ilham verebilecek noktaları çıkararak uygulamaya devam edeceğim.