Mistral, tek kameralı robot navigasyon modeli Robostral Navigate'ı duyurdu

• Mistral'ın, robotların yalnızca tek bir RGB kamera ve doğal dil talimatlarıyla karmaşık ortamlarda hareket etmesini sağlayan ilk 8B embodied navigation modeli
• R2R-CE validation unseen'da %76,6 başarı oranı kaydederek yalnızca tek kamera kullanan yaklaşımları değil, depth ve çoklu kamera tabanlı en iyi sistemleri de geride bıraktı
• Mevcut ekrandaki hedefin görüntü koordinatlarını ve varış yönünü tahmin eden bir pointing yöntemi kullanıyor; görüş alanı dışındaki hedefler için bunun yerine robotun yerel koordinat sisteminde yer değiştirme komutları kullanılıyor
• Mevcut açık kaynak VLM'lere dayanmadan şirket içinde geliştirildi; simülasyonla üretilmiş yaklaşık 400 bin trajectory ve 6.000 scene ile eğitildi
• prefix-caching ile eğitim tokenlarını 22 kat azalttı, ardından CISPO çevrimiçi pekiştirmeli öğrenme ile başarı oranını %3,2 daha artırdı

---

Tek kamera tabanlı robot navigasyonu

• Robostral Navigate, RGB görüntüleri ve doğal dil talimatlarını girdi olarak alıp robotun çevrede hareket etmesini sağlayan Mistral'ın ilk embodied navigation modeli
• Örnek bir talimat şu biçimde olabilir: “Lobiden çık, koridordan geç, malzeme odasına gir, ardından ikinci rafa bakıp dur.”
• Depth sensörleri, LiDAR veya birden fazla kamerayı birlikte kullanan yaklaşımların aksine bu model yalnızca tek bir standart RGB kamera kullanıyor
• R2R-CE (Room-to-Room in Continuous Environments) validation unseen, eğitimde yer almayan ortamlarda talimatları izleyerek hareket etmeyi ölçen bir benchmark
  • Robostral Navigate, validation unseen'da %76,6 başarı oranına ulaşıyor
  • Bu, en iyi tek kamera yaklaşımından 9,7 puan daha yüksek
  • Depth veya çoklu kamera kullanan en iyi sistemlerden 4,5 puan daha yüksek

Benchmark performansı ve robot uyumluluğu

• Model, ofisler, konut ve ticari binalar ile açık hava ortamları gibi karmaşık alanlarda robotların otonom hareket etmesi için tasarlandı
• Tek bir talimatla, insanlar ve engellerin bulunduğu gerçek ortamlarda tüm görevi kendi başına yerine getirebiliyor
• Başlıca performans ve çalışma koşulları şöyle:
  • R2R-CE'de state-of-the-art performans sergiliyor
  • validation seen başarı oranı %79,4
  • validation unseen başarı oranı %76,6
  • LiDAR veya depth sensörü olmadan, tek bir RGB kamerayla çalışıyor
  • Şirket içinde geliştirilen 8B bir model ve eğitimi tamamen simülasyon tabanlı
  • Tekerlekli, yürüyen ve uçan robotlarda çalışıyor; robot boyutlarındaki farklılıklara genellenebiliyor
  • Kamera iç parametrelerindeki farklılıklara karşı dayanıklı
  • Token verimli eğitim için prefix-caching kullanıyor

Pointing tabanlı hareket yöntemi

• Robostral Navigate, görev ve gözlem geçmişine dayanarak robotun bir sonraki adımda gitmesi gereken konumu pointing yöntemiyle tahmin ediyor
• Tahmin edilen çıktı, mevcut kamera görüntüsü içindeki hedef konuma karşılık gelen görüntü koordinatları ve varışta gerekli yönelimden oluşuyor
• Metric displacement'e dayalı komutların aksine pointing, kamera iç parametreleri ve gerçek dünya ölçeğindeki değişimlere doğal olarak daha dayanıklı
• Hedef konum mevcut görüş alanının dışındaysa bunu yalnızca pointing ile ele almak zor
  • Bu durumda robotun yerel koordinat sisteminde yer değiştirme komutları kullanılıyor
  • Örneğin: “2 metre ileri git, 1,5 metre sola git ve 25 derece sola dön.”

Şirket içinde geliştirilen model ve simülasyon verisi

• Robostral Navigate, mevcut açık kaynak VLM'lere dayanmadan tamamen şirket içinde geliştirildi
• Başlatma aşamasında, pointing, counting ve object localization gibi grounding görevlerinde uzmanlaşmış Mistral'ın vision-language modeli kullanıldı
• Navigasyon, nesnelerin konumunu anlamanın ardından nasıl hareket edileceğini öğrenme yaklaşımına dayanıyor; bu da söz konusu grounding yeteneklerinin bir uzantısı niteliğinde
• Veri üretim hattının tamamı simülasyon içinde kuruldu
  • Bu sayede veri üzerinde yinelemeli iyileştirmeler hızla yapılabildi
  • Nihai veri kümesi yaklaşık 400 bin trajectory ve 6.000 scene'den oluşuyor

Verimli eğitim ve çevrimiçi pekiştirmeli öğrenme

• Denetimli öğrenmenin temel bileşeni, prefix-caching tabanlı verimli bir eğitim algoritması
• Tree tabanlı attention masking stratejisiyle tüm episode tek bir sequence içine sıkıştırılıyor
  • Tüm time step'ler tek bir forward pass içinde eğitilebiliyor
  • Time step'ler arasında bilgi sızıntısı engelleniyor
• Her time step için bir örnek kullanan eğitime kıyasla, eğitim sinyali korunurken eğitim token sayısı 22 kat azaltılıyor
• Bu sayede normalde aylar sürecek eğitim çalışmaları birkaç günde tamamlanabilir hale geliyor
• Denetimli öğrenmenin ardından performans, CISPO çevrimiçi pekiştirmeli öğrenme algoritmasıyla daha da iyileştiriliyor
  • Modelin deneme-yanılmadan öğrenmesini, başarısızlıktan toparlanmasını ve keşif davranışları edinmesini sağlıyor
  • Klasik behavior cloning'de görülen distribution shift sorununu hafifletiyor
  • Yalnızca bu aşamayla başarı oranı %3,2 artıyor
  • Hâlâ bir plateau görülmediği için daha fazla eğitim ve deneyle bu değer daha da yükseltilebilir

Entegre embodied agent'e doğru bir sonraki adım

• Robostral Navigate, entegre bir embodied agent yönündeki ilk adımı temsil ediyor
• Mistral, navigasyonu genel amaçlı robotiğin temel yeteneklerinden biri olarak görüyor
• Büyük ölçekli simülasyon, verimli eğitim ve güçlü grounding prior'ın birleşimiyle; kompakt bir model ve tek bir RGB kamerayla state-of-the-art embodied navigation elde edilebildiğini gösteriyor
• Mistral, robotik ekibini büyütüyor ve araştırma bilimcileri ile mühendisler için işe alım yapıyor

[GN⁺]

Hacker News yorumları

• “R2R-CE’de son teknoloji performans” deniyor ama R2R-CE’nin simülasyon ortamlarından oluşan bir benchmark olduğunu açıkça belirtmek gerek
  Bu benchmark’ı geçmek, bir robotu Minecraft ya da başka video oyunlarında iyi hale getirmeye benzer ölçüde anlam taşır. Etkileyici, ama robotların dijital ortamda değil fiziksel gerçeklikte çalışması gerekir
  Gerçek dünyada robot sistemlerinin performansını değerlendirmek çok zordur. Performans kötüyse, değerlendirmeyi tamamlamak için çok sayıda yedek robota da ihtiyaç duyulur
  Yazıda ayrıca, parlak zeminli ve neredeyse boş bir ofis gibi ortamlarda fiziksel robotun 2x hızla hareket ettiği zorunlu demo videoları da var. Bu artık alanın simgesi haline gelmiş bir sahne ve sonda üç kişinin robotun rotasını dikkatle kesmesi de ayrıca ironik
  Ama bu, birkaç yıl önce Aloha etrafındaki abartıya benziyor. Büyük teknoloji şirketlerine ekibi sattırmak ya da havalı teknolojiyi daha fazla araştırmak için fon bulmak açısından iyi olabilir, ancak bunu ev veya ofis içinde dolaşan robot hizmetçi/uşaklara giden somut bir ilerleme olarak görmek için yetersiz

• İmalı olarak, ve umarım gerçekten öyledir, bu haritasız navigasyon gibi görünüyor. Öyleyse etkileyici
  Ortamın önceden çıkarılmış bir haritası varsa bu tür görevler çok daha kolaydır. Ama harita olmadan yapıyorsa, bu oldukça büyük bir iş
  Eskiden robotun kendi konumunu bilmediğinde hiç hareket edemediği “kaçırılmış robot” problemi hep vardı. Burada ise mevcut görüşten yorumlanabilen bir komut ya da dead reckoning ile takip edilebildiği sürece, robot komutları yerine getiriyor gibi görünüyor

  • Mistral robotik ekibinde çalışıyorum ve evet, bu haritasız bir yaklaşım. Girdi olarak yalnızca bir metin prompt’u ve öne bakan RGB kamera görüntüsü var
  • Modern SLAM ya da VSLAM bunu çözmüyor mu?
  • Hiç sensör kullanmadan ve gerçek geometri olmadan, elinizde yalnızca yakın dönem forward-pass token’ları gibi bir şey varsa, önceden yakalanmış bir harita olduğunda bunun neden çok daha kolaylaştığını açıklayabilir misin?
  • Bir tür keşif düğümleri oluşturmak çok ilginç olabilir. Yani hareket ederken semantik SLAM problemini çözmek gibi
    “Bu katta asansörü bul” diye komut verdiğinde, dolaşıp harita çıkararak bir insanın asansör aradığı şekilde davranabilir mi?
    Şu anki bu navigasyon modelleri, komutu yazan kişinin faydalı görsel hareket referanslarını çok iyi bildiğini varsayıyor; bu da çoğu kullanım senaryosunda gerçekçi değil

• Bununla gerçekten oynayabilmek için pratik bir yol olup olmadığını merak ediyorum. Hobi amaçlı deneyler için bunu OpenClaw’a bağlamayı çok isterdim
  Hayalim, OpenClaw’ı bir çiftlik robotuna koymak. Dik yamaçlarda ot biçmek için paletli bir RC çim biçme makinesini modifiye edip, “çit hattını izleyerek bitki fotoğrafları çek, zehirli sarmaşıkla istilacı hanımelini bul, ikisine de Roundup püskürt, bunu her hafta tekrarla, sonra tür dağılım haritasını raporla ve pil azalınca ahıra dönüp şarj ol” gibi görevler vermek istiyorum
  OpenClaw’ı robot gövdesine koymak zor değil. YouTube’da bunun birçok videosu var. Ama insanların yaptıklarını gerçekten incelediğinizde, hareket kısmı her zaman en kaba bölüm oluyor; benim deneylerimde de durum buydu
  Bu tür 8B modeller rota planlama ve navigasyon sorunlarını çözmek için biçilmiş kaftan gibi görünüyor
  Mistral ya da benzer şirketlere daha aşina olan biri varsa, bunların böyle hobi geliştirici deneyleriyle de ilgilenip ilgilenmediğini merak ediyorum. Yoksa esas olarak ticari ortaklar mı arıyorlar? Deney yapmak için lisans ücreti ödemeye razıyım ama tek başına çalışan biriyseniz, ticarileştirmeyecekseniz sizinle çalışmayabilirler diye düşünüyorum

  • Bununla OpenClaw gibi bir robot yapmak harika olurdu ama mevcut modelin metin üzerinden yürüme/ortamı anlama tarafına odaklandığı görülüyor. Robotun dünyayla etkileşime girmesini sağlamak için ne kullanılabilir?
  • Benim gibi merak edenler olur diye, şimdiye kadar öğrendiklerimi paylaşayım. Mistral Discord’a gidip Miscord botuna sordum; şu anki resmi duyuru ve belgelerin ağırlıklı olarak Airbus, BMW gibi kurumsal/endüstriyel ortaklıklara odaklandığını söyledi
    Yine de Robostral Navigate donanımdan bağımsız tasarlanmış, yani herhangi bir robot platformuna takılabiliyor ve LiDAR ya da derinlik sensörü olmadan yalnızca tek bir RGB kamera gerektiriyor; bu yüzden teoride hobi ekipmanlarına da gayet uygun
    Henüz kamuya açık bir hobi/gayri ticari lisans ya da açık kaynak sürümü yok ve bireysel kullanım için fiyatlandırma veya lisans katmanları da duyurulmuş değil. Şu an yapılabilecek en iyi şey, Mistral AI ile doğrudan iletişime geçip “OpenClaw + Robostral Navigate ile kişisel deney yapmak isteyen bir hobi geliştiricisiyim; gayri ticari lisansı görüşmek istiyorum” diye açıkça sormak
    Mistral Discord’u ya da forumlarını takip etmek de mantıklı; yanıt gelmezse ROS veya Habitat gibi açık kaynak robotik projelerinde benzer işlevlerin ortaya çıkmasını bekleyebilirsiniz

• Bunun herkese açık bir model olduğunu sanmıyorum ama yayımlanırsa, tek kameralı navigasyonu kolay erişilebilir hale getirip çok sayıda harika hobi robot projesinin önünü açabilir

• Çok havalı. Mistral ekibini tebrik ederim. Dış mekânda haritasız navigasyon epeydir vardı ama bina içinde haritasız navigasyon nispeten yeni sayılır
  Stanford araştırmacıları, rastgele bir görüntüden coğrafi konum tahmin eden PIGEON adlı bir görsel model eğitmişti. Takipçilik gibi mahremiyet ihlali potansiyeli fazla olduğu için yayımlanmamıştı; bu robotun arkasında da benzer türden bir teknoloji varmış gibi geliyor. Daha iyi bilen biri varsa düzeltirse sevinirim
  PIGEON makalesi bağlantısı: https://lukashaas.github.io/PIGEON-CVPR24/

• Mistral hem geniş alana yayılıyor hem de niş alanları hedefliyor gibi görünüyor. Bu, ileriye dönük zekice bir strateji olabilir

  • Endüstriyel ortaklar için özelleştirilmiş otomasyona çok yatırım yapıyorlar; bu da araç setlerine hoş bir ek olacaktır
  • Gayet sağlam bir strateji olabilir. Ham hesaplama gücüyle Anthropic ya da OpenAI ile yarışmaları zor, ama o kadar güce ihtiyaç duymayan çok fazla uygulama var ve bazen hız ile enerji verimliliğine optimize olmak daha iyi oluyor
  • Çünkü kâr motivasyonu yerine benim vergilerimle işliyorlar

• Oldukça minimal olması etkileyici.
  Bir yandan da yaklaşık 2010 civarında akademik araştırmacıların ve Willow Garage’ın yayımladığı robot demo videolarını hatırlatıyor.
  Robotikteki sorun şu: ikna edici görünen demolar yapmak kolay, ama bunu genel durumda gerçekten düzgün çalışır hale getirmek gerçekten çok zor. Otonom sürüş bunun iyi bir örneği.

  • Robotikte sonuçta her şey edge case’lerden ibaret. İşin %95’ini kusursuz yapan robotların zaten mümkün olduğu pek çok uygulama var, ama bu yine de yeterli değil. Son %5 o kadar geniş ki kapatması neredeyse imkansız.

• Akşam yemeği hazırlayan, bulaşıkları yıkayan ve çöpü dışarı çıkaran bir ev yardımcı robotunu beklemeye hazırım.
  Ama bu tür yardımcıların benim için ya da bana karşı savaşta kullanılacağı zaman fikri korkutucu.

  • Dürüst olmak gerekirse birçok özellik hoş, ama ana akım robotlar ağır ve çocukların üzerine devrilmesinden endişe ederim. Çocuklar makine açısından öngörülemez olsa da çoğu ebeveyn için bir ölçüde tahmin edilebilirdir.
    Sensör örnekleme hızımız ve zekâmızın çıkarım hızı, şu anki en iyi robotların çok çok ilerisinde. Şu anda insan çok daha rafine ve yetkin.
    Yeterince hafif cihazların mümkün olmasını umuyorum, ama batarya ağırlığı gereksinimini düşününce bunun nasıl mümkün olacağını pek bilmiyorum.
  • İkincisinin birinciden çok daha önce geleceğini düşünüyorum.
  • İnsanları drone’larla patlatılmaya göndermek yerine robotları göndereceklerse, belki de buna sevinmeliyiz.
  • Birincisi için epey uzun süre beklemek gerekecek gibi. Robot her afalladığında yabancı birinin uzaktan kontrolle evin içinde dolaşmasını sorun etmiyorsanız başka tabii.
  • Her eve bir akıllı insansı robot; bunda ne ters gidebilir ki? Muhtemelen berbat bir fikir.

• “R2R-CE(Room-to-Room in Continuous Environments) üzerinde %76,6” deniyor ama kalan %23,4’lük sürede ne yaptığını merak ediyorum.

  • “Yan odaya git” denildiğinde iki kapı olması ya da “su sebilinden dön” denildiğinde bir de lavabo bulunması gibi sorunlar muhtemelen en büyük etkenlerdir. Tabii her zamanki gibi son %1, diğer %99 kadar zor.
    Sonuç grafiklerinin olduğu sayfada navigasyon hatalarına bakarsanız, bu soruyla en ilgili metrik orada görünüyor. Model “yanlış yöne gitmeme” konusunda çok iyi olduğundan, başarısızlık oranı muhtemelen yolu çıkaramamasından kaynaklanıyordur.
  • Muhtemelen diğer odaya ulaşamamıştır.

• Bu gerçekten harika. Robotun parmakla gösterilen yönü kullanarak nereye gideceğine karar verebilmesi mükemmel bir tasarım tercihi ve robotik gerçekten bir sonraki büyük sınır. Mistral’i kesinlikle desteklemek istiyorum.