- 2D görsellerden oluşan Lego'nun görsel montaj kılavuzlarını makinenin yorumlayabileceği biçime çevirme
- Bunu ardışık tahmin (
prediction) görevleri olarak ele alıyor; model her adımda kılavuzu okuyup mevcut şekle eklenecek bileşenleri buluyor, ardından 3 boyutlu biçimi çıkarıyor
- Kılavuzdaki 2D görseller ile gerçek 3D nesneler arasındaki 2D-3D eşleştirme problemi ve daha önce görülmemiş (
Unseen) 3D nesnelerin biçimini çıkarma gibi görevler gerekiyor
- Bunu çözmek için öğrenme tabanlı bir çerçeve olan MEPNet (Manual-to-Executable-Plan Network) sunuluyor
- Temel fikirler; 2D anahtar nokta tespit modülü, yüksek hassasiyetli tahmin için 2D-3D projeksiyon algoritması ve daha önce görülmemiş (
Unseen) bileşenlere karşı güçlü genelleme (Generalization)
1 yorum
Brickit diye, Lego yığını fotoğrafı çekince yapay zekanın parçaları sınıflandırıp yapılabilecek Lego modellerini öneren bir startup aklıma geliyor.