SAM 2: Görseller ve Videolar için Segment Anything

• Segment Anything Model 2, görsellerde ve videolarda istemle yönlendirilebilen görsel segmentasyon problemini çözmek için geliştirilmiş bir modeldir
  • Görselleri tek karelik video olarak ele alarak videoya genişletir
  • Gerçek zamanlı video işleme için akış belleğine sahip basit bir transformer mimarisi kullanır
  • Kullanıcı etkileşimi yoluyla modeli ve veriyi iyileştiren bir veri motoru kurarak SA-V veri kümesini topladı
• Çeşitli görevlerde ve görsel alanlarda güçlü performans sunar
• Segment Anything Video (SA-V) veri kümesi de yayımlandı
  • 50.583 farklı videodan ve 642.036 yüksek kaliteli uzamsal-zamansal segmentasyon maskesinden (Masklet) oluşur
  • CC by 4.0 lisansı

[xguru]

Segment Anything Model(SAM): Meta'nın görüntülerdeki herhangi bir nesneyi çıkarmayı sağlayan yapay zeka modeli
SAM.cpp - Meta'nın Segment Anything Model'inin saf C/C++ ile gerçekleştirilmiş sürümü

[GN⁺]

Hacker News yorumları

• mIoU ve görüntü işleme hızındaki 6 kat artış ilgimi çekti

  • Hız artışı büyük ölçüde verimli encoder sayesinde
  • Aynı görüntü üzerinde birden fazla segmentasyonda avantaj daha az olabilir
  • Orijinal SAM ile karşılaştırma gerekli

• Segment Anything ekibi SAM 2 modelini yayınladı

  • Gerçek zamanlı nesne segmentasyonu için ilk birleşik model
  • Kod, model, veri seti, araştırma makalesi ve demoyu yayımladılar
  • Kullanıcıların neler geliştireceğini görmek heyecan verici

• Daha önce SAM 1 ile ilgilenmiştim

  • SAM 2 makalesinin özeti:
    • 256 A100 GPU ile 108 saat boyunca eğitildi
    • Eğitim maliyeti yaklaşık $50k ile düşük
    • Yeni SA-V veri seti 50k videodan oluşuyor
    • 3 aşamalı anotasyon bootstrap yöntemi kullanılıyor
    • Bellek attention özelliği eklendi

• Video karelerini sınıflandıran ve belirli kareleri bulan bir model eğitmek istiyorum

  • SAM-2'yi temel model olarak kullanmanın uygun olup olmadığını merak ediyorum

• SAM kayıp fonksiyonunun büyük hayranıyım

  • Teşekkürlerimi iletiyorum

• Web demosu çok temiz görünüyor

  • Her ayakkabıyı ayrı nesne olarak seçtiğimde model, üst üste binmiş durumda olsalar bile segmentasyon yapıyor

• İlk SAM modeli en faydalı olanıydı

  • SAM2'yi denemeyi dört gözle bekliyorum

• Araştırma demosu Illinois ve Texas eyaletlerinde kullanılamıyor

  • Sebebini merak ediyorum

• Askeri kullanıma dair endişeler var

• Etkileyici bir başarı