YouTube videolarının içini doğal dille aramak

• OpenAI'ın CLIP sinir ağını kullanarak video içindeki belirli sahneleri arama

→ "Road Works", "People crossing the street", "Fire truck" gibi videodaki görüntüleri arayabilme

Çalışma şekli

1. YouTube videosunu indirme

2. Her kareyi çıkarma

3. Tüm kareleri CLIP ile kodlama

4. Doğal dil aramasını CLIP ile kodlama

5. Doğal dil aramasıyla belirli sahneyi bulma

• Google Colab üzerinde not defteri olarak doğrudan çalıştırılabilir

→ https://colab.research.google.com/github/haltakov/…

[xguru]

Yorumlarda aynı geliştiricinin Unsplash görsel aramasını da CLIP ile yaptığı bir şey var; bu da oldukça faydalı görünüyor.

• https://github.com/haltakov/natural-language-image-search

• Google Colab : https://colab.research.google.com/github/haltakov/…

Unsplash'a yüklenen 2 milyon fotoğraf arasından istediğiniz içeriğe sahip fotoğrafı buluyor.

• "Karda oynayan iki köpek", "Duvara yazılmış love kelimesi", "Programınızın sonunda nihayet çalıştığı andaki his"