Meta AI, videodaki tüm noktaları (pikselleri) izleyen CoTracker modelini duyurdu

• Meta AI, videodaki noktaları (pikselleri) izlemek için CoTracker adlı yeni bir model duyurdu
• CoTracker, noktalar arasındaki korelasyonları dikkate alarak tüm video boyunca birden fazla noktayı izlemeyi hedefliyor
• Mimari, optik akış ve izleme literatüründeki fikirleri temel alıyor ve özelleştirilmiş attention katmanlarına sahip bir transformer ağı kullanıyor
• Kayan pencere yaklaşımını kullanarak uzun videolara uygulanabiliyor ve diğer nokta izleme yöntemleriyle karşılaştırıldığında verimli ve yüksek doğruluklu olduğu gösteriliyor
• Bu model, özellikle örtülme durumlarında bile daha temiz ve daha doğrusal izler üretiyor
• CoTracker, doğruluk açısından TAPIR ve Multi-Flow Tracking gibi diğer çalışmalardan daha üstün performans gösteriyor
• Yazılım mühendislerine videoda nokta izleme için yeni ve güçlü bir araç sunarak performans ve doğrulukta önemli bir ilerleme sağlıyor

[kuroneko]

Demo bir şekilde hoş görünüyor. VR’de neyin gerekli olduğunu düşününce, iş tarafında da bir ölçüde örtüşen noktalar varmış gibi geliyor...

[GN⁺]

Hacker News görüşleri

• Meta'nın araştırma bölümünün iş açısından yönü net değil ve ana iş koluyla ilişkisi anlaşılmıyor.
• Facebook'un izleme pikseli konusundaki deneyiminin, Meta'nın CoTracker modelinin başarısına katkıda bulunmuş olması muhtemel görünüyor.
• Meta'nın hedefi, VR'ı inanılması güç hale getirmeye ve dünyayı gerçek zamanlı anlayabilen yapay zeka sistemleri oluşturmaya odaklanıyor gibi görünüyor.
• CoTracker'ın makale, GitHub ve demo bağlantıları sunuluyor.
• Google'ın Apache-2.0 lisanslı Tapir adlı kendi nokta izleme sürümü bulunuyor.
• Ürün şirketlerinde araştırma süreci, mühendislik odaklı şirketlerdekinden farklıdır.
• CoTracker ile video kodeklerindeki hareket tahmini algoritmaları arasındaki karşılaştırma soru işaretleri doğuruyor.
• CoTracker gibi açık kaynaklı yapay zeka modelleri, girişimler için marjların düşük olduğu ve rekabetin çok yoğun olduğu bir pazara yol açabilir.
• Andrew Zisserman, Hartley ve Forsyth gibi etkili isimlerden söz edildi.
• CoTracker'ın gelecekte AR uygulamaları olabilir.

[xguru]

Meta’nın araştırma bölümünün iş tarafındaki açısı net değil ve ana iş koluyla ilişkisi de anlaşılamıyor.

Sanırım kilit yorum bu. Araştırma güzel ama iş tarafıyla nasıl hizalandığını anlamakta zorlandığım birçok nokta da var.
Biraz eski Google’a bakıyormuşum hissi de veriyor..